Сегодня я для тех, кто не в танке представляю простую, как судьба отца Фёдора и бесплатную программу Netpeak Spider, которая поможет Вам найти дубли страниц на сайте и сделает ещё много чего хорошего в плане анализа проекта. Сразу оговорюсь, что всё решить на сайте автоматическими средствами аудита не удастся, но время на анализ сократиться за счёт переложения ручного труда на плечи Spiderа.
Установка проги проста до безобразия, поэтому сразу перейду к функциональным возможностям софта, начав с поиска дублей страниц. Практически аналогичную работу можно проделать с Henu, но она не так удобна и не русифицирована.
Никаких кодов, ключей и заветных заклинаний при работе со Спайдером вводить не надо, сразу можно вставлять адрес сайта без последнего слеша и нажимать «Пуск». Софт выкачивает все страницы и предлагает по ним следующую информацию –
- - Ответ сервера,
- - Title,
- - Meta,
- - Запрет или разрешения файла robots + наличие редиректов,
- - Количество H1,
- - Внутренние ссылки на документ и спайдеровский вес страниц (это не расчёт PR, но очень параллельно).
Так как в первую очередь нас интересуют дубли, то смотрим в правое окно интерфейса, выделяем «по title» и нажимаем «найти дубликаты», после чего видим все документы, имеющие одинаковое название. Особо ленивым останется подумать, каким образом избавиться (редирект, закрытие в robots и т д.) от одного из главных зол не только Joomla, но и других движков и можно процентов на 30 снизить риск АГС и улучшить ранжирование дублирующихся web-документов. Сразу скажу, что пагинация страниц, закрытая через Disallow: /*?* не всегда учитывается корректно, в остальном софт работает без сбоев, а уж отличить дубли пагинации от иных дублей сможет отличить даже зелёный, как минздравовский змей сеошник.
В настройках Spider можно указать прокси и параметры сканирования, а экспорт в Excel находится вверху интерфейса. Данный паук прост, удобен и бесплатен, поэтому данная программа будет также востребована веб-мастером и оптимизатором, как клизма и активированный уголь в доме печальной вдовы.