Нередко старания веб-мастера частично уходят в песок и причиной этому становятся проблемы с индексацией сайта, то есть с одной стороны web-документ есть (на него затрачены и силы и средства), а с другой его нет, так как страница попросту отсутствует в выдаче. Решить эту незадачу можно только при комплексном подходе и глубокой проверке навигации ресурса + правильности составления технических файлов проекта. Давайте посмотрим на основные причины проблем с индексацией сайта и посмотрим, как их найти и устранить.
Навигация и Java-скрипты
Практически все сайты Рунета сегодня управляются с помощью CMS, что позволяет веб-мастерам использовать java-скрипты направо и налево, там, где они нужны и там, где без них было бы лучше, в том числе и в навигации. Скрипты часто попросту разрывают навигационную цепочку или ведут не туда, куда предполагал попасть пользователь.
Если сайт (блог) небольшой, то отключаем java-скрипты в браузере (для Opera «инструменты – быстрые настройки – включить/выключить скрипты» и становимся похожими на поисковых пауков) и листаем ресурс постранично, по ходу проверяя верность и удобство навигации сайта, особое внимание уделяя ссылке на главную страницу и помним, что у главной должен быть один url, что сверх того, то от лукавого. Эта «мелочь» может негативно сказываться на индексации и «съедать» часть естественного статичного веса «морды», которая нередко продвигается по ВЧ запросу (потом опять эти «охи» почему у меня главная стоит в топ 200).
Проверяем urlы
Теперь надо посмотреть не вводим ли мы умышленно ботов в заблуждение, предлагая индексировать несколько адресов одной и той же страницы. При небольшом объёме сайта лучше всего посмотреть адреса проиндексированных документов и сделать выводы то ли это, что мы хотим отдавать на корм паукам. Нередко страница открыта для индексации и со слешем в конце и без него (актуально для разделов и категорий), это с одной стороны приводит к проблемам с индексацией, а с другой плодит дубли страниц. Закрыть индексацию документов заканчивающихся на слеш (если не настроена переадресация) можно прописав в robots директиву
Disallow: /*/$,
которая понятно говорит ботам, что отправлять в индекс страницы со слешем на конце нельзя, с чем угодно можно (обычно только одна версия и остаётся), а со слешем нельзя.
Кроме этого проверьте сайт на битые ссылки, которые вводят в заблуждение не только ботов, но и пользователей и, возможно, проблем с попаданием в индекс ПС станет меньше, конечно, априори я считаю, что информация на сайте имеет вес в глазах посетителей.