Важность правильного составления robots.txt и sitemap.xml

Очень часто клиенты спрашивают, что же это за файлы и для чего они нужны.

В этой статье я постараюсь максимально понятным языком объяснить значимость данных файлов, которую сложно недооценить, поскольку они влияют на правильность и скорость индексации роботами поисковых систем интернет-ресурса.

Итак, robots.txt - это текстовый файл, который располагается в корневом каталоге сайта и указывает, какие именно разделы и страницы сайта подлежат индексированию, а какие нет. Причем бывают случаи, когда необходимо полностью закрыть сайт от индексации. Казалось бы, зачем прятать содержимое сайтов? На это есть простой и логичный ответ. Роботам незачем знать секретную информацию, которая присутствует на любом сайте, будь-то файлы администрирования сайта (включая пароли), персональная информация пользователей содержащаяся в личном кабинете и др. Кроме того, очень важно скрывать от роботов дубли страниц сгенерированные системой управления сайта. Зачем давать роботам основание считать, что главная страница перестала быть уникальной (полностью или в части) за счет появления ее дубля? Это негативный фактор влияющий на ранжирование сайта в поисковой выдаче. Мы просто скроем дубль страницы от индексации и все снова будет «ок».

В Robots.txt также прописывается директива «host», указывающая какое именно из зеркал сайта считать главным, что позволяется склеить два домена с www.site.ru и site.ru

Кстати, если у вашего сайта есть поддомены, не забудьте составить отдельный robots.txt для каждого из них.

Robots.txt указывает путь к файлу Sitemap.xml.
Файл Sitemap.xml - это так называемая карта сайта. Содержит в себе информацию о том, какие именно страницы присутствуют на сайте, как организована его структура. Для продвижения очень важно правильно составить данный файл.

Безусловно поисковые роботы могут и сами проиндексировать сайт, перейдя по ссылкам со страницы на страницу, однако, некоторые страницы могут потеряться ввиду того, что путь к ним слишком длинный, или сайт содержит большое количество несвязанных друг с другом страниц, страницы были созданы или изменены недавно. Вот тут-то нам на помощь и приходит Sitemap.

Кроме того, при помощи Sitemap.xml мы можем сообщить поисковым системам информацию о том, когда в последний раз вносились изменения на сайте, как часто мы обновляем содержимое сайта.

При всей значимости правильной и полной индексации сайта, мы не можем приказывать поисковым роботам как вести себя на сайте, файлы Robots.txt и Sitemap.xml воспринимаются ими как рекомендуемые, но зачастую все же следуют нашим указаниям. В любом случае, лишними данные файлы не будут и вреда сайту не нанесут.