Повышение эффективности сканирования сайта поисковыми системами

Постоянные и частые визиты сканера поиcковой системы – это первый признак того, что ваш сайт нравится поисковику и отвечает основным требованиям и алгоритмам индексации Google и Яндекса (да не в обиде будет на меня администрация других поисковых систем, но похоже, что тенденции рынка информации на русском языке ещё долгое время будут определяться именно этими участниками процесса).

Сайт глазами поиcкового робота

Поскольку декларируемая ценность поисковой выборки и у Google, и у Яндекса заключается в ориентации на конечного пользователя, то наиболее эффективным способом увеличить скорость и частоту сканирования будет «всего навсего» удачная попытка заставить поискового паука поверить в то, что ваш сайт ценен и важен для него.

Приглашение к сканированию сайта

Нет и не предвидится никакой возможности принудить силой робота поисковика сканировать вас чаще, однако вы можете вежливо и ненавязчиво пригласить его проявить более живой интерес к вашему ресурсу. Подобное приглашение, разумеется, должно быть оформлено соответствующим образом:

1. Обновляйте текстуальное наполнение своего сайта часто и регулярно, то есть старайтесь добавлять новую информацию как можно чаще (несколько новых текстов в неделю в течение нескольких месяцев с высокой степенью вероятности добавят Поисковику уверенности в том, что ваш сайт жив, дышит и развивается). Это конечно довольно банальный совет, который даст вам любой специалист в области интернет контекста и SEO – копирайтинга однако большинство владельцев и администраторов сайтов с завидным упорством не прислушиваются к нему.

2. Не поленитесь проверить технические характеристики сервера, на котором расположен ваш сайт: постарайтесь отследить Uptime и Unreachable Pages в Google Web Master Tools, проверьте основные характеристики мониторинга Yahoo Yslow. Прибегнув к помощи специалистов или же самостоятельно, при относительно небольшом количестве временных и интеллектуальных затрат вы сможете добиться не только большей визуальной эффективности вашего сайта (более быстрая загрузка страницы, более качественная работа встроенных элементов, уменьшение запросов внутри сессии и т.д.), но и привлечёте на свою сторону сканируещего ваш сайт робота, который с радостью отрапортует «своему начальству» о беспроблемном и качественном сканировании и ,как следствие – о приоритетной индексации данного ресурса.

3. Исходя из этих же предпосылок возникает пресловутый вопрос «лимита на индексацию»: предположительно сканер работает на временном и килобайтном бюджете – если он тратит слишком много времени, загружая ваши файлы PDF или неадекватно загрязнённые лишним кодом страницы, у него не останется времени и ресурсов на другие, возможно более ценные элементы вашего сайта.

4. Проверьте систему внутренней навигации на сайте: убедитесь в отсутствии повторяющихся, неоригинальных текстов, что часто происходит за счёт разномастных, но «одинаковых» с точки зрения Веб Мастера URL. Такое дуплицирование зачастую происходит при наличие адресов страниц, различающихся исключительно регистром букв в URL или наличием/отсутствием закрывающего слэша, или возможностью формировать страницу двояко – и при помощи динамических параметров и при помощи серверной перезаписи URL. Страницы с возможностью отображаться как с директивой www, так и без неё, также могут быть проблематичны. Чем дольше пауку приходится отсеживать ваши повторяющиеся тектсы, тем больше всё тех же предполагаемых лимитных секунд и килобайт он расходует.

5. Не стоит забывать и о внешних ссылках. Старайтесь получить ссылки не только с тематически соответствующих и пейдж-ранково весомых сайтов, но и просто с сайтов, посещение которых роботом поисковой систему происходит регулярно и часто.

6. Если есть такая возможность, постарайтесь отрегулировать скорость сканирования в Google Webmaster Tools (в Яндексе пока такая услуга не предусмотрена). Несмотря на то, что многие скептически относятся к посредническим возможностям Google Webmaster Tools, опыт показывает, что чаще всего эти возможности есть и они работают.

7. Обустройте на вашем сайте карты сайта, как xml, так и обыкновенную (вообще-то карта сайта для Google (Google xml site map) – инструмент довольн спорный в контексте увеличения скорости сканирования, но вредить индексации и частоте посещений вашего сайта роботом она не будет).

8. Убедитесь, что ваш сервер корректно возвращает заголовки HTTP. Редирект на уровне 302 может отвадить робота от дальнейшего прохождения по страницам ресурса, а уж случайно затесавшаяся серверная ошибка из отряда 500 и вовсе подорвёт репутацию сайта в глазах паука. В этом случае и Google и Яндекс в своих «Инструментах для Веб Мастера» предлагают возможность отслеживать ошибки, ну а проверить заголовки HTTP можно на одном из множества серверов он-лайн. Не пренебрегайте также проверкой реакции сервера на стандартные ошибки (типа 404).

9. Банальность: мета данные должны быть уникальны и ценны для каждой страницы. Именно с этого участка кода начинается серьёзное сканирование, так почему бы не заставить систему с первых же строчек поверить в качественность ресурса?

10. Попытайтесь определить интенсивность активности робота на вашем сайте. Это позволяют сделать многие аналитические программы, анализирующие лог-файлы сайта. Такой анализ даст вам возможность определить, на каком этапе происходит сбой в процессе посещения вашего сайта роботом (а такие сбои как правило происходят), и попробовать устранить проблему.

11. В случае если ваш сайт обновляется со значительной степенью регулярности (5-10 раз в неделю), не забудьте установить модуль пингов в блогосферу, даже если вы не считаете свой ресурс блогом.

Говорить о корректном привлечении поисковых машин на свой сайт можно долго, детализируя каждый из приведённых выше пунктов и добавляя другие, не рассмотренные здесь элементы. Для этого и существует SEO – поисковедение, однако, даже выполнение требований рассмотренных в этой статье может привести к значительным, весомым результатам.

Не стоит забывать, что данная статья рассматривает (да и то – частично) исключительно вопрос обеспечения свободного и удобного доступа роботам поисковых систем к страницам и струтктуре сайта. Даже строгое следование всем рекомендациям, приведённым в статье не обязательно продвинет ваш сайт на передовые позиции в поиске. Этот аспект – один из многих значимых элементов, из которых складывается стратегия и тактика поискового продвижения сайта.

по теме:

• Система управления сайтом и SEO
• Чёрная оптимизация – основы Black Hat SEO
• Серверные технологии и оптимизация сайта
• Канонические теги – Canonical в массы
• Проблемы пагинации и дублирования контента
• Анализ Ключевых Слов – Где Начать?
• PDF Map (Карта PDF файлов)