От индексации зависит количество страниц в поиске и трафик, поэтому любой оптимизатор стремится ускорить этот процесс. Желают быстрее загнать в индекс страницы новостного сайта, ведь новости через неделю не имеют ценности, и web-документы магазинов, порталов и статейников. Как же проходит индексация сайта и можно ли этот процесс ускорить?
Индексация в Яндексе
В Яндексе два слоя индекса – основной и быстрый. В первом случае индексация проходит так:
- - Бот находит страницу,
- - Документ сканируется и заносится в лист ожидания,
- - Web-документ попадает в индекс в ближайший текстовой апдейт (частота, как Бог даст).
Попадание страниц в поиск через быстрый индекс выглядит сокращённо – бот находит и сканирует документ, после чего сразу или с короткой оттяжкой по времени (до суток) страница попадает в поиск и на неё (при правильной оптимизации) капает трафик.
Ошибочно думать, что для быстрого слоя используется специальный бот – быстроробота, как отдельного бота нет. И в первом и во втором слое есть один робот.
Почему одни страницы попадают в быстрый индекс, а другие нет?
Ещё одна ошибка – главное загнать на страницу быстроробота (которого и нет) и документ сразу попадёт в индекс. Для опровержения этого мифа советую внимательно изучать логи посещений access. Из них видно, что при добавлении сайта в аддурл Яндекса или анонсировании материала в социальных сетях бот приходит сразу, а вот в индекс страницы попадают с разной задержкой по времени.
Попадает или нет страница в быстрый слой индекса зависит от качества (мифического траста) сайта. Грубый пример. Есть десять сайтов, девять из которых Яндекс любит (ранжирует) не очень. На сайтах сделаны публикации и на них загнан робот (простым или хитрым путём), но в быстрый слой индекса попадёт только страница того сайта, который любит ПС, остальные ждут до текстового апдейта.
Как заставить Яндекс полюбить сайт
Добиться любви в жизни сложно, для этого нужны или художественные внешние данные, или гениальный ум или крупный счёт в банке. Так и с ПС. Она полюбит тот сайт, который:
- - Не нарушает требования системы поиска,
- - Предлагает интересную и актуальную для пользователя информацию,
- - Имеет отличительные черты.
Блог Zegeberg быстрый индекс любит, но дорога к этой любви была длинной и трудной. Для этого надо было не переписывать чужие статьи, а извращаться над своими мыслями, добиваясь их синхронизации и переноса на электронные страницы. Мысли опирались на факты, факты учитывали интересы пользователя. Круг замкнулся, страницы индексируются за пару часов.
Как заставить Яндекс переиндексировать web-документ?
Здесь всё просто – надо привести на страницу бота, который сравнит кэш с новым текстом, заметит отличия и отправит документ на обновление в выдаче, в ближайший текстовой апдейт страница переиндексируется.
Если на сайте есть нормальная карта, нет косяков со структурой и навигацией, то бот сам найдёт изменённые страницы и отправит их на переиндекс, если же сайт большой и запутанный, то заманить бота можно салом свежим анонсом в социальные сети (анонс оригинальный).
Индексация в Google
У ПС Google больше ресурсов (серверов для хранения данных, денег у буржуев больше), поэтому и страницы быстрее индексируются. Если к сайту со стороны ПС нет нареканий (нет спама, не нарушаются поисковые технологии), то бот приходит быстро и также быстро страница попадает в индекс.
Про песочницу скажу – это фантазия воспалённого мозга, если документ правильно оптимизирован, то сразу после индексации он приносит трафик. Конечно, позиции запроса меняются (учитываются внешние и внутренние ссылки), но документ не стоит по две недели в листе ожидания, как в основном поиске Яндекса.
Текстовых апдейтов в Googlt нет, точнее они есть и постоянно проводится онлайн: бот попадает на страницу, сканирует ей, документ попадает в индекс.
Для привлечения бота, кроме понятно структуры, можно использовать социальные сети и сервис в панели веб-мастера Google «Посмотреть как Googlebot». Есть и классический аддурл Google.
Ещё одно отличие процесса индексации в Яндексе и Google – это возможности переиндексации. В заморской поисковой системе с этим нет вопросов, так как обновлённый документ просто повторно отправляется в индексе через панель веб-мастера или аддурл. В Яндексе документ, который в индексе, отправить через аддурл не получится, система наивно скажет вам, что страница уже в индексе.