Яндекс изменил правила обработки robots.txt
Поисковые боты Yandex'а перестают распознавать пустую директиву Allow как запрещающий сигнал в robots.txt.
Нередко индексирующий бот не может получить доступ к веб-сайтам из-за установленного по ошибке в robots.txt запрета на посещение всех страниц. Часть этих ошибок связана с установкой пустой директивы Allow:
User-agent: * Allow:
Ранее бот интерпретировал это правило как стопроцентно запрещающее, что делало веб-сайт труднодоступным для посещения ботов, и такие веб-сайты не могли показываться в поисковых результатах. Когда же вебмастера преднамеренно хотели запретить посещение веб-сайтов, они обычно прописывали эту команду запрета.
Потому мы решили поменять обработку роботом таковой директивы - на данный момент она игнорируется при обнаружении в robots.txt. Если на вашем веб-сайте преднамеренно употребляются пустое правило Allow в robots.txt, то для того, чтоб бот корректно учитывал запрет, правило необходимо поменять на директиву Disallow:
Disallow: *
Либо
Disallow: /
Проверить, что разрешено, а что запрещено в robots.txt можно в Yandex.Вебмастере.
Советуем обратить повышенное внимание на пустые значения для Allow - если необходимо запретить индексирование, то их быть не должно.