Googlebot не может получить доступ к файлам CSS и JS на сайте
В очередной раз Google напомнил нам про доступ к файлам CSS и JS, получили письмо следующего содержания: Search Console Googlebot не может получить доступ к файлам CSS и JS на сайте...
В очередной раз Google напомнил нам про доступ к файлам CSS и JS, получили письмо следующего содержания:
Search Console Googlebot не может получить доступ к файлам CSS и JS на сайте http://masterimargo.ru
Веб-мастеру сайта http://masterimargo.ru
Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.
Чтобы устранить проблему, выполните следующие действия:
1 | Определите заблокированные ресурсы Используйте эту функцию, чтобы узнать, какие ресурсы заблокированы в файле robots.txt. | Просмотреть как Googlebot |
2 | Обновите файл robots.txt Откройте доступ к коду JavaScript и файлам CSS в файле robots.txt и проверьте его с помощью инструмента на странице https://www.google.com/ | Проверить файл robots.txt |
3 | Убедитесь, что проблема устранена Просканируйте сайт, выбрав параметр "Mobile: smartphone", чтобы убедиться, смогут ли смартфоны корректно обрабатывать контент. | Просмотреть как Googlebot |
Таким образом гугл конкретно заявляет:
- Что он полностью индексирует сайт с анализом CSS и JS
- Оценивает качество отображения сайта на компьютере, планшете, мобильном телефоне
- Проверяет работу JS скриптов, наличие вредного кода и ошибок
Для оптимальной индексации и обработки страниц Google рекомендует не скрывать используемые на сайте внешние файлы изображений, JavaScript и CSS в robots.txt, а давать гуглботу полный к ним доступ. Закрытие этих файлов может привести к неверному распознаванию страниц и повлиять на ранжирование.
Чтобы не потерять позиции выдачи, нужно:
Конечно же проверить! - Соответствует ли Ваш сайт Рекомендациям для веб-мастеров от Google, и:
1. Открыть в Robot.txt доступ ко всем CSS и JS файлам и проверить файл robots.txt
- Выберите сайт на главной странице Search Console.
- Нажмите Сканирование в панели инструментов слева и выберите Инструмент проверки файла robots.txt.
- Инструмент открывает ваш файл
robots.txt
в текстовом редакторе, где можно вносить изменения. - Просмотрите код файла
robots.txt
. Синтаксические и логические ошибки будут выделены, а их количество будет указано под окном редактирования. - Введите расширение URL или путь в текстовом поле внизу страницы.
- В меню справа от текстового поля выберите робота.
- Чтобы начать проверку, нажмите кнопку ПРОВЕРИТЬ.
- Посмотрите, какой статус появится после нажатия на кнопку ПРОВЕРИТЬ (ДОСТУПЕН или ЗАБЛОКИРОВАН), чтобы узнать, разрешено ли роботам Google сканировать введенный URL.
2. Изучите статью о том, как оптимизировать сайт для мобильных устройств.
3. Запретите сканирование сайта с помощью метатегов или HTTP-заголовка X-robots-tag.
Метатег robots позволяет определять настройки индексации и отображения в результатах поиска отдельно для каждой страницы. Его следует добавить в раздел . Пример:
<!DOCTYPE html> <html><head> <meta name="robots" content="noindex" /> (…) </head> <body>(…)</body> </html>
Метатег в примере выше запрещает всем поисковым системам показывать эту страницу в результатах поиска. Заданное для атрибута name значение (robots) указывает, что директива распространяется на всех роботов. Если вы хотите закрыть доступ только одному из них, укажите вместо robots другое значение для атрибута name, а именно название нужного робота. Отдельные поисковые роботы также называются агентами пользователя (поисковый робот использует агент пользователя для запроса страницы). Наш основной поисковый робот называется Googlebot. Чтобы запретить сканирование страницы только ему, измените тег, как показано ниже:
<meta name="googlebot" content="noindex" />
Теперь тег сообщает роботу Google (но не другим поисковым системам), что эту страницу не следует показывать в результатах поиска. Атрибуты name и content нечувствительны к регистру.
Поисковые системы могут использовать несколько роботов для разных ресурсов или целей. Полный список роботов Google приведен здесь. Например, чтобы страница отображалась в результатах веб-поиска Google, но не в Google Новостях, используйте следующий метатег:
<meta name="googlebot-news" content="noindex" />
Если нужно указать директивы для нескольких поисковых роботов, можно использовать несколько метатегов robots:
<meta name="googlebot" content="noindex"> <meta name="googlebot-news" content="nosnippet">
При обнаружении противоречащих друг другу директив роботы Google будут выполнять наиболее строгую из них.