сканирование сайта в панели вебмастера

Если вы получили письмо со следующими строками

«Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске»,

то не стоит отчаиваться – всё можно исправить за пару минут.

ПС Google хочет всё знать о ваших сайтах, это помогает ей в ранжировании и позволяет получить ценную информацию для построения выдачи. Ранее файлы css и js можно было закрывать, далеко боты не ходили, но в последнее время у них появился такой интерес и надо его уважать из солидарности. Скорее всего, никто понижать позиции прямо завтра не будет, но требование есть требование и будем соответствовать нормам.

закрыт доступ к css и js

Находим файлы без доступа

Для того чтобы найти, к каким файлам css и js не может получить доступ GoogleBot, надо перейти в панель вебмастера и открыть вкладку:

Сканирование – посмотреть как GoogleBot.

Поле ввода оставляете пустым и нажимаете «получить и отобразить» после чего синеете и зеленеете от ожидания. Вернее всего, вы увидите статус «частично выполнено», на него надо нажать и вам откроется панель с двумя скринами сайта:

  1. - Так увидел эту страницу робот Googlebot
  2. - Так увидит эту страницу посетитель сайта.

Картинки хороши, спору нет, но не Айвазовский, поэтому смотрим ниже и видим список с адресами файлов, которые не может обработать бот Google. Тут же указана причина, которая мешает заветному желанию ботов и есть ссылка на файл robots.txt, точнее на директиву, мешающую визиту робота. Огульно всё удалять в роботс не надо, там много полезного и рубка с плеча может обернуться появлением в индексе массы мусорных страниц.

Правим robots.txt

Для моих сайтов на Joomla надо было внести в robots всего несколько правок, точнее добавить строки:

User-Agent: Googlebot

Allow: /*.js

Allow: /*.css

Allow: /plugins/content/

Обратите внимание, что я не прописываю директивы для всех поисковых систем – они не жалуются, так зачем это делать, а даю разрешение на сканирование только для Google. В сухом и небольшом остатке у нас остаются запреты на доступ к Метрике Яндекса, Аналитикс Google и виджет facebook. Почему Google требует открыть ему доступ к внешним файлам и как это сделать без помощи хакеров вопрос, скорее всего, это обычный глюк, когда лес рубят щепки летят. Открыв свои файлы css и JavaScript для ботов можно быть спокойными, глюки же оставим программистам самого Google.

Добавить комментарий


Защитный код
Обновить