Как служебные файлы robots.txt и .htaccess помогают при индексации сайта

Опубликовано 03 июня 2023 в 0:40. Рубрика: SEO, Оптимизация сайта, Создание сайта. Вы можете следить за ответами к этой записи через RSS 2.0. Вы можете оставить отзыв или трекбек со своего сайта.

Сайт дня: Алексей Терехов в интересной статье “Как заработать в интернет” описал все нюансы онлайн заработка для новичков.

На форумах, блогах очень часто встречаются сообщения о выпадении страниц, исчезновение из поисковой выдачи, отсутствие индексации. Такая ситуация как правило относиться к Яндексу. Часто это происходит с сайтами действительно и основаниями есть введению новых алгоритмов Яндекса. Следует отметить, что достаточно велик процент ошибочных действий со стороны вебмастеров или оптимизаторов. Самой частой ошибкой является определение главного зеркала сайта. Например, Яндекс определил главным зеркалом www.сайт.рф, а после этого оптимизатор ставит 301 редирект в файле htaccess на сайт.рф (без хоста www).

Что же происходит в этой ситуации? Поисковой робот пытается проиндексировать главное зеркало по адресу www.сайт.рф, потому что дополнительные зеркала (сайт.рф) не участвуют в поисковой выдаче и не индексируются. Так как для Яндекса главным зеркалом есть – www.сайт.рф, и при попытке закачать с него страницы получает серверный редирект 301 на сайт без хоста www, которые является дополнительным зеркалом и не должен индексироваться. Поисковой робот попадает на страницу, которая указана в перенаправлении как главное зеркало, хотя не является таковым для Яндекса. В такой ситуации сайт не будет проиндексирован, так как все попытки робота будут разрываться, скорее всего, по тайм ауту.

Для исключения такой ситуации необходимо правильно прописывать редирект 301, потому что от этого зависит индексация сайта. Прежде чем писать 301 редирект, необходимо узнать какое же зеркало считается главным. Такую информацию о сайте можно получить в панели вебмастера Яндекс. Также для правильного определения главного зеркала можно прописать директиву в файле robots.txt, и выглядеть это будет следующим образом:

User-agent: *
Host: www.сайт.рф (здесь должно быть ваше главное зеркало)

Директива host выполняется только для Яндекс, хотя не исключено что будет понятна и другим поисковым роботам. Эту директиву желательно прописывать в конце файла, для того если вдруг она не будет понятна другим роботам (чтобы избежать ошибки).

Для хорошей индексации страниц сайта нужно знать, как правильно прописать принудительное направление (редирект) в файле htaccess, а также правильность указанного адреса главного зеркала в файле robots.txt. Ведь именно от правильного написания и понимания этих директив зависит индексация Вашего сайта. Для склейки PR и ТИЦ при замене домена, а также при выделении нужного зеркала используют следующую конструкцию:

Redirect 301 / http://falckmed.ru/

Файл .htaccess с такой строкой создается в корне старого домена при склейки или Вашего сайта для выделения нужного зеркала.

P.S. В статье “Как заработать на фарме” Сергей, под ником Max1mus, не плохо расписал все пункты для новичков. Начиная с выбора домена и заканчивая продвижением фарма шопа.