Подготовка сайта к индексации

В большинстве случаев веб-сайт/блог/сателлит начинают готовить к индексации уже после того, как он размещен в Интернете. Не советую этого делать, т.к. может привести к серьезным проблемам. О подготовке к индексации лучше позаботиться с начала создания сайта.

Дизайн и навигация

Дизайн желательно делать уникальным. Шаблонами в исходном виде пользоваться крайне не рекомендую.

Использование фреймов - это лишний запрос для поискового робота, который может из-за выборки страницы с фреймом отложить индексирование какой-либо другой или вообще отложить индексацию.

Роботами индексируется только текст, а вот графика остается невостребованной. Поэтому не стоит делать целые страницы, состоящих только из изображений. Это также относится и к flash, на котором сейчас создаются сайты полностью. Хоть флеш и индексируется, но достаточно плохо.

При проектировании ссылочной инфраструктуры веб-ресурса следует помнить о том, что лучшие для индексации страницы - статические, т.е обычные HTML-страницы.

Сейчас же большинство веб-сайтов строится на PHP движках, где страницы обычно динамические. Поисковики достаточно проблематично индексируют такие страницы. Поэтому для создания статических страниц рекомендуется использовать модуль mod_rewrite веб-сервера Apache. Например, с помощью него можно преобразовать ссылку вида index.php?about в адрес about.html

Для передвижения по сайту робот ПС анализируют ссылки и поэтому навигация при помощи формы или Java-скрипта будет проигнорирована. Если дизайн все же требует подобного, то можно просто продублировать их с помощью обычных ссылок.Многие поисковые роботы планируют следующее посещения вашего сайта в зависимости от того, насколько много информации несут его страницы как часто они изменяются. В связи с этим крайне не рекомендую страницы типа “under construction”, “страница в разработке” и т.д., особенно на длительный срок.

Мета-теги

Прописываются в разделе

Важные мета-теги для индексирования:

Robots

Содержит указания для роботов поисковых машин, собирающих информацию о HTML документах в сети.

Значение свойства Robots может состоять из следующих директив, разделенных запятыми:

  • Index - эта страница должна быть индексирована.
  • Noindex - эта страница не должна индексироваться.
  • Follow - прослеживать гиперссылки на странице.
  • Nofollow - не прослеживать гиперссылки на странице.
  • All - = index, follow (принято по умолчанию).
  • None - = noindex, nofollow.

Document-state

Предназначен для управления индексацией поисковых роботов. Может иметь два значения:

  • Static - Нет необходимости индексировать эту страницу в будущем.
  • Dynamic - Индексировать эту страницу регулярно (по умолчанию).

Revisit

Указывает поисковому роботу, через сколько дней ему нужно вернуться и переиндексировать данный документ.

Content-Type

Отвечает за указание типа документа и кодировки символов.

Контент

Самый важный аспект в индексации сайта.

Поисковики ценят уникальность. Информация, уже размещенная в Интернете их не интересуют.

Не нужно писать слова вразрядку, расставлять вручную переносы и т.д.

Нежелательно размещать на одной странице слишком много или слишком мало текста. Рекомендуемое количество 2000-8000 знаков в тексте на одной странице.

Рекомендуется использовать семантическую разметку

Иногда возникает ситуация, что нужно запретить к индексации определенный участок текста. В это случае нужно использовать тег . Этот тег придуман Яндексом и принят Рамблером, а вот Google на него не реагирует.

Карта сайта

Это обычно одна страница сайта, на которой содержатся ссылки на все остальные страницы данного ресурса. Для поисковых систем создается специальный XML-файл, содержащий информацию о страницах сайта, которые подлежат индексации.

Файл robots.txt

Поисковые роботы при заходе на веб-сайт обращаются в первую очередь к в котором содержатся инструкции к индексации.

Домен и хостинг

Безусловно стоит использовать платный хостинг. Большинство популярных бесплатных хостингов занесены под фильтр из-за огромного количества дорвеев. Индексация может проходить проблематично.

По той же причине, Яндекс предвзято относится к бесплатным доменам 3-го уровня .net.ru, .org.ru, .pp.ru

При ориентации на Рунет стоит использовать домен .ru или .su, при использовании на буржунет - .com, .net, .org и другие.

Конечно, подготовка сайта к индексации не ограничивается приведенными выше рекомендациями, но, надеюсь, они помогут избежать многих ошибок.