Robots.txt: что это
и как правильно настроить файл

Robots.txt помогает управлять обходом сайта поисковыми роботами. В нем можно закрыть служебные разделы, разрешить исключения внутри закрытого каталога и указать адрес карты сайта. Ошибка в одной строке способна помешать роботу увидеть важные страницы или, наоборот, направить его в бесконечные фильтры и параметры.

При этом файл часто используют не по назначению. Robots.txt не защищает данные, не заменяет авторизацию и не гарантирует удаление URL из поиска. Чтобы настроить его правильно, нужно разделять обход, индексацию и доступ пользователя к странице.

Robots.txt — текстовый файл с правилами для поисковых и других роботов. Перед обходом сайта корректный робот запрашивает этот файл, находит секцию для своего User-agent и определяет, какие пути ему разрешено посещать.

Файл решает три основные задачи:

• снижает расход ресурсов робота на технические и дублирующиеся URL;
• ограничивает обход служебных разделов и результатов внутреннего поиска;
• сообщает адрес одного или нескольких файлов sitemap.xml.

Важно различать связанные процессы:

Запрет обхода не равен запрету индексации. Если на закрытый URL ведут ссылки, поисковая система может узнать адрес и показать его без содержательного сниппета. Google прямо предупреждает, что robots.txt не следует использовать для удаления веб-страницы из результатов. Яндекс также рекомендует применять noindex, когда нужно исключить страницу из поиска.

Чтобы робот увидел noindex в метатеге или HTTP-заголовке, он должен иметь возможность загрузить страницу. Одновременная установка noindex и запрета в robots.txt создает противоречие: робот не заходит на URL и не считывает указание об индексации.

Robots.txt основан на добровольном соблюдении правил. Добросовестные поисковые роботы учитывают их, но вредоносный сканер может проигнорировать файл. Пароли, персональные данные, документы для сотрудников и административные интерфейсы защищают авторизацией, сетевыми ограничениями и настройками сервера.

Robots.txt размещают в корне хоста по адресу вида:

Правила действуют только для протокола, хоста и порта, с которых загружен файл. Robots.txt на example.ru не управляет shop.example.ru, а файл на HTTPS-версии не является файлом для отдельной HTTP-версии. Для действующих поддоменов создают собственные файлы.

Технические требования:

• имя файла пишется строчными буквами: robots.txt;
• формат — обычный текст, без оформления Word или HTML;
• файл должен открываться без авторизации;
• рабочая версия должна отдавать корректный ответ сервера;
• правила записывают для путей, начинающихся с символа /;
• регистр в пути имеет значение: /Catalog/ и /catalog/ могут быть разными адресами;
• адрес проверяют именно в той версии сайта, которая доступна поиску.

Если файла нет и сервер отвечает, что он не найден, по умолчанию обход разрешен. Это не всегда ошибка: небольшой сайт без технических дублей может работать с минимальным файлом. Проблемы начинаются, когда CMS создает тысячи параметрических URL, результаты поиска, календарные страницы или другие ловушки для робота.

При переносе сайта robots.txt проверяют отдельно. На тестовой площадке часто стоит полный запрет, который случайно переезжает в рабочую среду. Перед запуском нужно открыть конечный адрес файла, проверить ответ сервера и протестировать несколько важных URL.

Базовые правила состоят из директив. Название пишут перед двоеточием, значение — после него.

Символ * в User-agent означает всех роботов. Отдельные секции используют, когда конкретной поисковой системе нужны другие правила. Если различий нет, одной общей секции проще управлять и сложнее ошибиться.

Пример минимального файла:

Allow применяют для исключения внутри закрытого каталога. Например, можно запретить весь технический раздел, но открыть один публичный файл:

При совпадении нескольких правил поисковые системы сопоставляют путь с наиболее конкретным подходящим правилом. Сложные комбинации следует проверять в инструментах поисковых систем, поскольку роботы могут интерпретировать расширения стандарта по-разному.

Символ # начинает комментарий: все после него в строке не считается директивой. Комментарии полезны для даты и причины правила, но не должны превращать файл в длинный внутренний регламент.

Clean-param поддерживает Яндекс. Директива помогает объединять URL, различающиеся параметрами, которые не меняют содержание: например, рекламными метками. Ее нельзя добавлять вслепую. Если параметр меняет товар, язык, регион, сортировку с самостоятельной ценностью или содержание страницы, объявлять его незначащим опасно.

Директивы, найденные в случайном шаблоне, могут не поддерживаться нужным роботом. Например, Google не поддерживает crawl-delay и noindex в robots.txt. Перед добавлением нестандартного правила нужно свериться с документацией конкретной поисковой системы.

Закрывать стоит URL, обход которых не приносит поиску полезного уникального содержания и расходует ресурсы робота. Решение принимают после анализа структуры, логов сервера, отчетов поисковых систем и поведения CMS.

Частые кандидаты на запрет:

• результаты внутреннего поиска;
• корзина, оформление заказа и личный кабинет;
• страницы авторизации, восстановления пароля и технические формы;
• административные каталоги, если они доступны по публичным URL;
• бесконечные комбинации фильтров и сортировок без поискового спроса;
• служебные API и технические конечные точки, которые робот может обнаружить по ссылкам;
• версии для печати, если они полностью дублируют основную страницу;
• временные страницы сравнения или подборки, создаваемые с уникальным идентификатором;
• календарные и пагинационные ловушки с неограниченным числом адресов.

Пример для интернет-магазина:

Не следует закрывать все URL с вопросительным знаком одной строкой без анализа. Параметры могут использоваться для важных страниц фильтров, локализации, пагинации или загрузки контента. Широкий запрет способен убрать из обхода значительную часть каталога.

Для дублей robots.txt редко является единственным решением. Обычно применяют сочетание понятной структуры URL, canonical, внутренних ссылок на канонические адреса, корректного sitemap.xml и управления параметрами. Запрет обхода ограничивает загрузку, но не передает поисковику все сигналы о предпочтительной версии.

В robots.txt нельзя без проверки закрывать ресурсы и страницы, от которых зависит понимание сайта.

Важные посадочные страницы

Категории, услуги, карточки товаров, статьи и региональные страницы должны быть доступны роботу, если они рассчитаны на поиск. Проверьте не один URL, а шаблон целиком: широкое правило для /catalog/ закроет весь каталог вместе с нужными страницами.

CSS, JavaScript и изображения, необходимые для отображения

Поисковой системе важно видеть страницу близко к тому, как ее видит пользователь. Если основной текст, меню, ссылки или мобильная версия формируются скриптами, запрет ресурсов мешает корректному рендерингу и оценке страницы.

Страницы с noindex

Если цель — убрать страницу из поиска с помощью noindex, сначала оставьте ее доступной для обхода. После повторного посещения робот сможет прочитать метатег или HTTP-заголовок. Закрытие в robots.txt до обработки noindex может сохранить известный URL в выдаче.

Файл sitemap.xml

Карта сайта должна быть доступна роботам. Она содержит рекомендуемые канонические URL и помогает обнаруживать обновления. Запрещать каталог, в котором физически лежит sitemap.xml, следует только после проверки исключения для самого файла.

Закрытые данные

Конфиденциальный адрес нельзя считать защищенным из-за строки Disallow. Robots.txt публичен: любой человек может открыть файл и увидеть перечисленные каталоги. Для приватных данных используют вход по паролю, проверку прав, закрытую сеть или запрет доступа на сервере.

Статические ресурсы по шаблону

Правила вида Disallow: /assets/ или Disallow: /*.js$ выглядят удобно, но способны закрыть критические файлы всего сайта. Перед публикацией широкого шаблона нужно проверить рендеринг главной, категории, карточки, статьи и формы на мобильном и настольном устройстве.

Sitemap.xml и robots.txt дополняют друг друга:

• robots.txt сообщает, куда робот может или не может заходить;
• sitemap.xml перечисляет канонические страницы, которые владелец рекомендует обнаружить и обработать.

Адрес карты указывают отдельной строкой с полным протоколом и доменом:

Можно указать несколько строк Sitemap. Директива не относится к конкретной секции User-agent и может находиться в удобном месте файла. Если карт много, обычно создают индекс sitemap, который перечисляет дочерние файлы.

Добавление адреса карты не гарантирует обход или индексацию каждой страницы. Поисковая система рассматривает sitemap как подсказку. В карту включают канонические URL с успешным ответом сервера, доступные для индексации. Не стоит добавлять туда редиректы, ошибки 404, дубли, закрытые страницы и URL с noindex.

Конфликт между файлами создает лишнюю неопределенность. Если URL указан в sitemap.xml и одновременно закрыт в robots.txt, робот получает сигнал обнаружить страницу, но не загружать ее. Такие противоречия находят при техническом аудите и устраняют по цели каждой страницы.

Карту также отправляют через Яндекс Вебмастер и Google Search Console. Это позволяет увидеть статус обработки и ошибки. Строка Sitemap в robots.txt остается полезным универсальным способом обнаружения карты.

Проверка нужна после каждого изменения, миграции и обновления CMS. Она включает доступность файла, синтаксис, тестирование URL и контроль после публикации.

1. Откройте файл в браузере

Перейдите по адресу https://ваш-домен.ru/robots.txt. Убедитесь, что открывается обычный текст, нет переадресации на страницу входа, заглушку или ошибку CMS.

2. Проверьте ответ сервера

Файл должен быть доступен поисковому роботу. Проверьте конечный HTTP-статус, тип содержимого и отсутствие циклических редиректов. Отдельно протестируйте HTTP, HTTPS, www и поддомены, которые существуют в проекте.

3. Разберите правила по секциям

Для каждой секции выпишите User-agent, Disallow и Allow. Проверьте пустые значения, регистр путей, лишние пробелы, комментарии и полные адреса sitemap. Удалите директивы, назначение которых команда не может объяснить.

4. Подготовьте набор контрольных URL

В тест должны входить:

• главная страница;
• по одной важной странице каждого шаблона;
• CSS, JavaScript и изображение, необходимые для рендеринга;
• закрытые служебные URL;
• разрешенное исключение внутри закрытого раздела;
• страницы с параметрами;
• sitemap.xml.

Для каждого адреса заранее укажите ожидаемый результат: разрешен или запрещен. Это превращает проверку из просмотра файла в понятный тест.

5. Используйте инструменты поисковых систем

В Яндекс Вебмастере доступен анализ robots.txt и проверка URL по правилам файла. В Google Search Console используйте проверку URL и тест опубликованной страницы, чтобы увидеть доступность и проблемы загрузки. Интерфейсы меняются, поэтому ориентируйтесь на текущие разделы диагностики обхода и индексирования.

6. Выполните контрольный обход

SEO-краулер помогает увидеть страницы и ресурсы, которые стали недоступны после изменения. Сравните результаты до и после: число доступных канонических страниц не должно внезапно сокращаться.

7. Проверьте результат после публикации

Откройте рабочий robots.txt, повторите тест URL и следите за отчетами об индексировании. Изменение правил применяется после повторного получения файла роботом, поэтому эффект может проявиться не сразу.

Полный запрет остается после разработки

Строка Disallow: / закрывает весь сайт для выбранного User-agent. Она полезна на временном стенде только вместе с реальной защитой доступа. На рабочем домене такой запрет может остановить нормальный обход.

Robots.txt используют для удаления страниц

Запрет обхода не гарантирует исчезновение URL из выдачи. Для исключения применяют noindex при доступном обходе, защиту паролем, удаление страницы с корректным кодом ответа или специальный инструмент поисковой системы для временного скрытия.

Одновременно ставят Disallow и noindex

Робот не может прочитать noindex на странице, которую ему запретили загружать. Сначала нужно дать поисковой системе обработать указание об индексации, а дальнейшую стратегию выбрать по типу URL и задаче обхода.

Закрывают CSS и JavaScript

Шаблонное правило для технического каталога может затронуть ресурсы рендеринга. Поисковик увидит неполную версию страницы, а диагностика мобильности и содержания станет менее надежной.

Копируют файл с другого сайта

Пути, CMS и правила параметров отличаются. Чужой шаблон способен закрыть важный каталог, оставить открытым внутренний поиск или добавить директивы, которые нужный робот не поддерживает.

Путают регистр и границы пути

Пути чувствительны к регистру. Кроме того, короткое правило может совпасть с большим числом URL, чем ожидалось. Каждый шаблон проверяют на реальных разрешенных и запрещенных адресах.

Закрывают все параметры

Общий запрет URL с параметрами может затронуть пагинацию, полезные фильтры и страницы, где параметр меняет содержание. Сначала параметры классифицируют, затем выбирают robots.txt, canonical, Clean-param или изменение генерации URL.

Публикуют секретные пути

Перечень закрытых каталогов виден всем. Название резервной копии или приватного раздела в Disallow может привлечь внимание, но не ограничит доступ. Защиту реализуют на сервере.

Не обновляют файл после миграции

Старые каталоги, домены sitemap и правила CMS теряют актуальность. Robots.txt следует включить в чек-лист запуска, изменения структуры и технического SEO-аудита.

Критические ошибки в robots.txt могут влиять на обход целых разделов и требуют проверки вместе с индексированием, sitemap.xml, canonical, редиректами и кодами ответа. КОМПСЕТИ проводит такую диагностику и исправление в рамках комплексного SEO-продвижения.

Полезные связанные материалы:

• Индексация сайта: как поисковые системы добавляют страницы в поиск;
• Sitemap.xml: что это и как создать карту сайта;
• Как закрыть сайт от индексации.

Видимость сайта объединяет позиции, спрос и выбранную семантику в один сравнительный показатель. Она помогает оценивать масштаб присутствия в поиске, находить проседающие кластеры и контролировать результат SEO-работ.

Корректный анализ требует одинаковых запросов, регионов, устройств и формулы. Метрику рассматривают вместе с фактическими показами, кликами, трафиком и заявками. Тогда рост видимости превращается из абстрактного процента в понятный этап движения к бизнес-результату.