Индексирование сайта в Яндекс.
1. Для скорейшего индексирования сайта в Яндекс, его следует добавить в поисковую систему с помощью формы addurl. Данная процедура не является условием немедленного попадания вашего сайта в индекс Яндекса. Сайт становится в очередь на индексирование, а уж короткая она будет или нет, мы с вами знать не можем.
2. Robots.txt — файл, который по сути ничего не разрешает, но зато может запрещать. Здесь мы можем указать страницы сайта, которые робот поисковых систем не должен посещать и соответственно сохранять. Рассмотрим наиболее важные параметры:
A) User-agent. Эта директива указывает для роботов каких поисковых систем написаны правила. Строка «User-agent: *» указывает, что далее написаны правила для роботов всех поисковых систем.
B) Disallow. Эта директива как раз и запрещает что-либо. Помните, что строка «Disallow: /» запрещает к индексированию весь сайт!
C) Host. Это правило подсказывает роботу поисковой системы, какое зеркало сайта необходимо считать главным. Помните, что данную директиву не воспринимает робот Google, т.е. он не воспримет правила в роботсе, если в нем будет содержаться директива host. Поэтому необходимо создавать правила отдельно для робота Google и Yandex.
D) Sitemap. Директива указывающая путь к файлу карты сайта в формате XML – sitemap.xml.
Яндекс имеет сервис в панели вебместера для проверки правильности составления файла robots.txt.
3. Мы можем влиять на приоритет страниц при обходе роботом сайта. Для этого разработан специальный формат карты сайта - sitemap.xml. В Яндексе есть специальный раздел, где можно загрузить sitemap.
4. Индексирование в Яндекс осуществляется по основным типам документов. Но есть небольшие ограничения, от них зависит, как будет осуществляться индексирование сайта, и будет ли документ проиндексирован вообще:
- Огромное количество cgi-параметров в адресе документа (URL), огромное количество «клонированных» вложенных директорий и огромная общая длина адреса документа (URL) может пагубно повлиять индексирование сайта в Яндекс.
- Для Яндекс индексирования имеет значение размер — документы, которые «весят» более 10 Мегабайт не индексируются.
- Индексирование документов flash:
1) Индексирование происходит, если flash не встроен в HTML, а также страница отдается с HTTP-заголовком, в котором содержится Content-Type: application/x-shockwave-flash;
2) Происходит индексирование документов формата *.swf, если на них есть прямая ссылка.
- В документах PDF осуществляется индексирование только текстового составляющего. Текст, который является картинкой индексироваться не будет.
- Яндекс осуществляет индексирование документов в форматах OpenDocument и Open Office XML.
5. Надо всегда следить за тем, чтобы все необходимые вам страницы на сайте отдавали код 200 ОК. Если страница будет отдавать код ошибки 404, то Яндекс удалит ее из индекса.
6. Необходимо внимательно следить за корректностью http-заголовков. А именно, за содержанием ответа, который отдается серверу по запросу «if-modified-since».
Дата последнего изменения должна отдаваться заголовком «Last-Modified».
7. Версии сайта, предназначенные для работы на мобильных устройствах всегда лучше размещать на отдельном поддомене. Это же следует делать с версиями сайта на разных языках.
|