Если вы получили письмо со следующими строками
«Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске»,
то не стоит отчаиваться – всё можно исправить за пару минут.
ПС Google хочет всё знать о ваших сайтах, это помогает ей в ранжировании и позволяет получить ценную информацию для построения выдачи. Ранее файлы css и js можно было закрывать, далеко боты не ходили, но в последнее время у них появился такой интерес и надо его уважать из солидарности. Скорее всего, никто понижать позиции прямо завтра не будет, но требование есть требование и будем соответствовать нормам.
Находим файлы без доступа
Для того чтобы найти, к каким файлам css и js не может получить доступ GoogleBot, надо перейти в панель вебмастера и открыть вкладку:
Сканирование – посмотреть как GoogleBot.
Поле ввода оставляете пустым и нажимаете «получить и отобразить» после чего синеете и зеленеете от ожидания. Вернее всего, вы увидите статус «частично выполнено», на него надо нажать и вам откроется панель с двумя скринами сайта:
- - Так увидел эту страницу робот Googlebot
- - Так увидит эту страницу посетитель сайта.
Картинки хороши, спору нет, но не Айвазовский, поэтому смотрим ниже и видим список с адресами файлов, которые не может обработать бот Google. Тут же указана причина, которая мешает заветному желанию ботов и есть ссылка на файл robots.txt, точнее на директиву, мешающую визиту робота. Огульно всё удалять в роботс не надо, там много полезного и рубка с плеча может обернуться появлением в индексе массы мусорных страниц.
Правим robots.txt
Для моих сайтов на Joomla надо было внести в robots всего несколько правок, точнее добавить строки:
User-Agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /plugins/content/
Обратите внимание, что я не прописываю директивы для всех поисковых систем – они не жалуются, так зачем это делать, а даю разрешение на сканирование только для Google. В сухом и небольшом остатке у нас остаются запреты на доступ к Метрике Яндекса, Аналитикс Google и виджет facebook. Почему Google требует открыть ему доступ к внешним файлам и как это сделать без помощи хакеров вопрос, скорее всего, это обычный глюк, когда лес рубят щепки летят. Открыв свои файлы css и JavaScript для ботов можно быть спокойными, глюки же оставим программистам самого Google.