Создано: 15 Декабря 2016

Последнее изменение: 22 Января 2017

Инструкции в robots.txt

Robots.txt – это один из специальных файлов, который находится в корневом каталоге любого веб-ресурса. Он содержит определенные директивы, касающиеся доступа к тем или иным разделам портала. Robots.txt еще принято называть «регламентом исключений для поисковых ботов». В этом файле веб-мастеру предоставляется возможность прописать адреса страниц и указать другие данные, которые не должны быть проиндексированы поисковым роботом. Так, например, файл дает возможность развести настройки доступа с мобильных гаджетов или персональных компьютеров.

Кроме того, robots.txt играет одну из ключевых ролей в продвижении сайта в поисковиках. Другими словами, этот файл – это часть сео-оптимизации любого сайта.

Использование функциональных особенностей файла дает возможность мастеру закрыть для индексации те страницы, которые он не считает нужным индексировать. Кроме того, именно в robots обычно задают адрес карты и адреса зеркал сайта.

Но возможна и другая ситуация, когда веб-мастер сталкивается с тем, что часть страниц ресурса находится в статусе «заблокировано в robots.txt».

Обычно, это связано с тем, что при написании файла, изначально были допущены ошибки. Очень часто начинающие мастера невнимательно относятся к написанию команд.

Например, если запретить индексировать сайт в robots.txt, то поисковик может воспринять это по-своему и отреагировать ошибкой «Заблокировано в robots.txt» либо «url запрещен robots.txt».

Кроме того, если вы хотите просто заблокировать определенную страницу, можно пользоваться альтернативными методами, например, тегами html-кода, которые позволят не индексировать страницы, не переходить по указанным ссылкам и пр.

С robots.txt нужно очень осторожно обращаться, можно закрыть случайно закрыть от индексации важный раздел или весь сайт.

Sonar.Network покажет все страницы с указанием закрыта или открыта она для индексации.

Найдите бесплатно на своем сайте все ошибки

Регистрация
Есть промокод?
Введите слово на картинке CAPTCHA