YandexBot в логах сайта

От индексации зависит количество страниц в поиске и трафик, поэтому любой оптимизатор стремится ускорить этот процесс. Желают быстрее загнать в индекс страницы новостного сайта, ведь новости через неделю не имеют ценности, и web-документы магазинов, порталов и статейников. Как же проходит индексация сайта и можно ли этот процесс ускорить?

Индексация в Яндексе

В Яндексе два слоя индекса – основной и быстрый. В первом случае индексация проходит так:

  1. - Бот находит страницу,
  2. - Документ сканируется и заносится в лист ожидания,
  3. - Web-документ попадает в индекс в ближайший текстовой апдейт (частота, как Бог даст).

Попадание страниц в поиск через быстрый индекс выглядит сокращённо – бот находит и сканирует документ, после чего сразу или с короткой оттяжкой по времени (до суток) страница попадает в поиск и на неё (при правильной оптимизации) капает трафик.

Googlebot в логах access

Ошибочно думать, что для быстрого слоя используется специальный бот – быстроробота, как отдельного бота нет. И в первом и во втором слое есть один робот.

Почему одни страницы попадают в быстрый индекс, а другие нет?

Ещё одна ошибка – главное загнать на страницу быстроробота (которого и нет) и документ сразу попадёт в индекс. Для опровержения этого мифа советую внимательно изучать логи посещений access. Из них видно, что при добавлении сайта в аддурл Яндекса или анонсировании материала в социальных сетях бот приходит сразу, а вот в индекс страницы попадают с разной задержкой по времени.

Попадает или нет страница в быстрый слой индекса зависит от качества (мифического траста) сайта. Грубый пример. Есть десять сайтов, девять из которых Яндекс любит (ранжирует) не очень. На сайтах сделаны публикации и на них загнан робот (простым или хитрым путём), но в быстрый слой индекса попадёт только страница того сайта, который любит ПС, остальные ждут до текстового апдейта.

Как заставить Яндекс полюбить сайт

Добиться любви в жизни сложно, для этого нужны или художественные внешние данные, или гениальный ум или крупный счёт в банке. Так и с ПС. Она полюбит тот сайт, который:

  1. - Не нарушает требования системы поиска,
  2. - Предлагает интересную и актуальную для пользователя информацию,
  3. - Имеет отличительные черты.

Блог Zegeberg быстрый индекс любит, но дорога к этой любви была длинной и трудной. Для этого надо было не переписывать чужие статьи, а извращаться над своими мыслями, добиваясь их синхронизации и переноса на электронные страницы. Мысли опирались на факты, факты учитывали интересы пользователя. Круг замкнулся, страницы индексируются за пару часов.

Как заставить Яндекс переиндексировать web-документ?

Здесь всё просто – надо привести на страницу бота, который сравнит кэш с новым текстом, заметит отличия и отправит документ на обновление в выдаче, в ближайший текстовой апдейт страница переиндексируется.

Если на сайте есть нормальная карта, нет косяков со структурой и навигацией, то бот сам найдёт изменённые страницы и отправит их на переиндекс, если же сайт большой и запутанный, то заманить бота можно салом свежим анонсом в социальные сети (анонс оригинальный).

Индексация в Google

У ПС Google больше ресурсов (серверов для хранения данных, денег у буржуев больше), поэтому и страницы быстрее индексируются. Если к сайту со стороны ПС нет нареканий (нет спама, не нарушаются поисковые технологии), то бот приходит быстро и также быстро страница попадает в индекс.

Про песочницу скажу – это фантазия воспалённого мозга, если документ правильно оптимизирован, то сразу после индексации он приносит трафик. Конечно, позиции запроса меняются (учитываются внешние и внутренние ссылки), но документ не стоит по две недели в листе ожидания, как в основном поиске Яндекса.

Текстовых апдейтов в Googlt нет, точнее они есть и постоянно проводится онлайн: бот попадает на страницу, сканирует ей, документ попадает в индекс.

Для привлечения бота, кроме понятно структуры, можно использовать социальные сети и сервис в панели веб-мастера Google «Посмотреть как Googlebot». Есть и классический аддурл Google.

Ещё одно отличие процесса индексации в Яндексе и Google – это возможности переиндексации. В заморской поисковой системе с этим нет вопросов, так как обновлённый документ просто повторно отправляется в индексе через панель веб-мастера или аддурл. В Яндексе документ, который в индексе, отправить через аддурл не получится, система наивно скажет вам, что страница уже в индексе.

Добавить комментарий


Защитный код
Обновить