Файл robots.txt — это текстовый файл в корне сайта. Он сообщает поисковым роботам, какие страницы можно индексировать, а какие нет. С помощью этого файла можно закрыть от индексации ненужные технические разделы. Например, страницы админки, корзины или фильтров.
Файл robots.txt для пользователей
Для обычных пользователей файл robots.txt не играет роли. Этот файл не влияет на вид сайта или его работу. Его читают только поисковые роботы — Googlebot, Bingbot и другие. Поэтому важно правильно его настроить, особенно если сайт продвигается в поиске.
Неправильная настройка robots.txt может случайно скрыть важные страницы. И тогда сайт потеряет позиции в поиске.
Как можно проверить robots.txt
Google Search Console — там есть специальный инструмент проверки robots.txt. Они покажут, какие страницы закрыты от индексации. Также можно просто ввести в браузере https://site.ru/robots.txt. Если он открылся — значит, файл доступен и читается.
Можно использовать анализ сайта онлайн.
Директивы, параметры, примеры robots.txt
Файл robots.txt очень простой. Это обычный текстовый документ. Основные команды: User-agent, Disallow, Allow, иногда Sitemap. User-agent — это указание, к какому роботу относится правило. Disallow запрещает доступ к указанной части сайта. Allow разрешает доступ, если есть уточнение. Файл можно открыть в любом блокноте и легко изменить.
Используете Google или Яндекс для увеличения продаж?
Бесплатный анализ сайта Проверьте сейчас сайт на ошибки поисковой оптимизации.
Раскройте скрытые возможности Вашего сайта.
Рекомендации для продвижения сайта бесплатноПример robots.txt
Вот простой пример правильного заполнения файла robots.txt:
User-agent: *
Disallow: /admin/
Disallow: /account/
Allow: /
Sitemap: https://site.ru/sitemap.xml
В этом примере запрещен доступ ко всем страницам с /admin/ и /account/. Звездочка после User-agent: означает, что правило применяется ко всем роботам. Sitemap указывает на карту сайта, что помогает поисковикам быстрее индексировать страницы.
Как влияет ошибка в robots.txt на SEO
Если случайно закрыть важные страницы — они исчезнут из поиска. Например, если написать Disallow: /, весь сайт станет недоступен для индексации. Такое случается часто при переносе сайта или тестировании. Поэтому нужно быть очень внимательным при изменениях. Лучше всего — сначала проверять изменения в тестовом файле. И только потом применять на рабочем сайте.
Если файл robots.txt отсутствует
Поисковики все равно будут индексировать сайт по умолчанию. Но без robots.txt нельзя контролировать поведение роботов. Могут попасть в индекс страницы, которые не нужны пользователям. Например, фильтры, теги, параметры URL и так далее. Это может навредить структуре сайта в поиске. Так что лучше все же создать этот файл — он несложный, но полезный.
Как настроить robots.txt для сайта
Сначала нужно изучить структуру сайта и понять, какие страницы стоит скрыть. После этого подготовить чистый файл robots.txt. Проверить его через Google Search Console. Также настроить карту сайта Sitemap, если ее еще нет. И следовать рекомендациям специалистов SEO по регулярной проверке.
Как часто нужно менять robots.txt
Часто менять не нужно, если сайт не меняется. Но при запуске новых разделов — лучше проверить настройки. Особенно если на сайте добавляются фильтры, сортировки, личный кабинет. Также полезно пересматривать файл при редизайне сайта. Если сайт на поддоменах — у каждого может быть свой robots.txt.