Как закрыть сайт
или отдельную страницу от индексации

Запрет индексации нужен, когда страница не должна появляться в поисковой выдаче: например, тестовая версия сайта, личный кабинет, служебный результат фильтрации или временная посадочная. Выбор способа зависит от задачи. Robots.txt управляет обходом, noindex запрещает показывать документ в поиске, авторизация защищает закрытые данные, а коды 404 и 410 сообщают, что страницы больше нет.

Неправильная настройка может удалить из поиска нужный раздел или, наоборот, оставить в выдаче URL без доступного содержимого. Перед изменениями важно составить список адресов, выбрать подходящий механизм и проверить результат отдельно в Яндексе и Google.

Закрывать стоит страницы, которые не дают самостоятельной ценности пользователю из поиска или не предназначены для публичного доступа.

Типичные случаи:

• тестовый сайт или копия проекта до запуска;
• личный кабинет, корзина, оформление заказа и внутренние разделы;
• страницы со служебными параметрами, сортировкой и техническими дублями;
• результаты внутреннего поиска по сайту;
• промежуточные страницы форм и подтверждения отправки;
• временные рекламные страницы, которые не должны конкурировать с основной;
• устаревший материал, который нельзя перенаправить на актуальный аналог;
• файлы или документы, не предназначенные для поисковой выдачи.

Не каждый дубль нужно закрывать. Для одинаковых или очень похожих страниц иногда правильнее настроить canonical, редирект или единый формат внутренних ссылок. Если страницу перенесли на новый адрес, постоянный редирект передает пользователям и поисковым системам новый URL. Если контент удален навсегда и замены нет, сервер должен возвращать 404 или 410.

Метод выбирают по цели:



Перед массовым закрытием выгрузите страницы, которые получают показы, переходы, ссылки и заявки. Запрет по шаблону может затронуть категории, карточки или статьи с органическим трафиком.

Файл robots.txt находится в корне домена: https://example.ru/robots.txt. Директива Disallow сообщает выбранному роботу, какие пути не нужно сканировать.

Пример запрета для всех поддерживающих правила роботов:



Для всего сайта используется правило Disallow: /. Такой вариант применяют осторожно, чаще для временной технической копии. Публичный рабочий сайт можно случайно полностью закрыть одной строкой.

Robots.txt управляет обходом, но не является надежным способом удалить уже известный URL из выдачи. Поисковая система может узнать адрес из ссылок и показать его без описания страницы. Официальные инструкции Яндекса и Google рекомендуют использовать noindex, ограничение доступа или удаление документа, если цель состоит именно в исключении URL из поиска.

У robots.txt есть дополнительные ограничения:

• файл должен возвращать код 200 и быть доступен без авторизации;
• правила действуют в пределах конкретного протокола, домена и поддомена;
• ошибки в пути, регистре и символах меняют область запрета;
• директива не скрывает страницу от посетителей;
• robots.txt общедоступен, поэтому в нем нельзя публиковать секретные адреса как способ защиты;
• закрытие CSS и JavaScript может помешать поисковику корректно увидеть страницу.

Если на странице установлен noindex, не блокируйте ее в robots.txt до того, как поисковый робот прочитает запрет. Иначе робот не загрузит HTML и не увидит директиву.

Метатег robots размещают внутри элемента head HTML-страницы:



Для большинства задач достаточно общего name="robots" и значения noindex. Директива none обычно трактуется как сочетание noindex и nofollow. Без отдельной причины nofollow добавлять не нужно: ссылки на закрытой странице могут помогать роботу находить другие документы.

Поисковая система должна повторно обойти страницу и прочитать метатег. Пока этого не произошло, URL может оставаться в выдаче. Фиксированного срока удаления нет.

X-Robots-Tag

HTTP-заголовок X-Robots-Tag решает ту же задачу на уровне ответа сервера. Он удобен для PDF, изображений и других файлов, где нельзя добавить HTML-метатег, а также для правил на уровне сервера.

Пример заголовка:



Проверяйте фактический ответ конкретного URL. Настройка веб-сервера может применить заголовок ко всему каталогу и случайно закрыть полезные файлы или страницы.

Яндекс noindex для фрагмента текста

Яндекс поддерживает HTML-элемент noindex, которым можно закрыть отдельный фрагмент текста. Это отдельный механизм и не замена метатегу robots. Google такой элемент для исключения части страницы не использует. Если нужно скрыть конфиденциальную информацию, не размещайте ее в публичном HTML: примените авторизацию или удалите данные.

Для одной страницы сначала определите, должна ли она оставаться доступной посетителям.

Страница нужна пользователям по прямой ссылке

Добавьте meta robots noindex или заголовок X-Robots-Tag. Оставьте URL доступным роботу, уберите его из sitemap.xml и проверьте, что CMS не перезаписывает метатег после публикации.

Такой подход подходит для страницы «Спасибо», технического шага формы или временной посадочной, которую нельзя полностью удалять.

Страница содержит закрытые данные

Используйте вход по учетной записи, пароль, сетевое ограничение или другой реальный контроль доступа. Robots.txt и noindex сообщают поисковикам предпочтение, но не мешают человеку открыть URL.

Для тестового сайта надежнее включить авторизацию на весь проект. Дополнительно можно использовать noindex как резервный сигнал, если страница доступна роботу после авторизации, но основной защитой остается контроль доступа.

Страница удалена навсегда

Верните код 404 Not Found или 410 Gone, удалите URL из sitemap.xml и внутренних ссылок. Не перенаправляйте все удаленные страницы на главную: нерелевантный редирект ухудшает навигацию и может восприниматься как soft 404.

Страница переехала

Настройте редирект 301 на наиболее близкий новый URL. Обновите внутренние ссылки, canonical и sitemap.xml. В этом случае noindex на старом адресе обычно не нужен: робот должен увидеть перенаправление.

Нужно закрыть группу URL

Если группа формируется по единому шаблону, правило можно задать в CMS, шаблоне страницы или конфигурации сервера. Сначала протестируйте несколько адресов внутри и вне группы. Выражение по параметру или каталогу может охватить больше страниц, чем планировалось.

Проверка состоит из двух этапов: убедиться, что правило действительно отдается, затем дождаться обработки поисковой системой.

1. Откройте robots.txt и проверьте правило для нужного User-agent.
2. Посмотрите исходный HTML страницы и найдите meta robots.
3. Проверьте HTTP-заголовки, если используется X-Robots-Tag.
4. Убедитесь, что сервер возвращает задуманный код: 200, 301, 404, 410 или 403.
5. Проверьте страницу в Яндекс Вебмастере и Google Search Console.
6. Убедитесь, что закрытый или удаленный URL исключен из sitemap.xml.
7. После повторного обхода проверьте статус страницы в отчетах об индексировании.

В Яндекс Вебмастере используйте анализ индексации, проверку страницы и раздел «Страницы в поиске». Сервис показывает запрет в robots.txt, обнаруженный noindex и другие причины исключения.

В Google Search Console инструмент проверки URL показывает, разрешено ли индексирование и какой HTML увидел Googlebot. Отчет об индексировании помогает найти все страницы, на которых обнаружен noindex.

Поисковый запрос по точному URL или оператор site: подходит для дополнительной проверки, но не заменяет данные сервисов для вебмастеров. Результаты операторов могут быть неполными.

Одновременный Disallow и noindex

Если robots.txt запрещает обход, робот не сможет загрузить страницу и прочитать noindex. Для удаления уже известного URL разрешите обход и оставьте noindex до исключения страницы из поиска. После этого решение по robots.txt принимают исходя из необходимости дальнейшего сканирования.

Попытка защитить данные поисковым запретом

Noindex и robots.txt не создают приватный раздел. Адрес может стать известен по ссылке, логам, истории браузера или пересылке. Конфиденциальные данные должны быть закрыты авторизацией и корректными правами доступа.

Запрет всего сайта после запуска

На тестовой версии часто используют Disallow: / или глобальный noindex. При переносе в рабочую среду запрет забывают снять. Перед публикацией проверяйте robots.txt, метатеги, HTTP-заголовки и настройки CMS на нескольких шаблонах.

Закрытие важных страниц по маске

Правило для каталога, параметра или типа страницы может затронуть канонические URL. До внедрения сопоставьте маску с полной выгрузкой адресов, а после — проверьте выборку страниц каждого типа.

Удаление URL только из sitemap.xml

Исключение из карты сайта не запрещает индексирование. Робот может найти страницу по внутренней или внешней ссылке. Sitemap.xml сообщает о приоритетных URL, но не управляет доступом к документу.

Использование canonical вместо запрета

Canonical помогает объединять дубли и указывает предпочтительный адрес, но не является строгим запретом индексации. Если страница не должна появляться в поиске, выберите noindex, ограничение доступа, редирект или код удаления в зависимости от задачи.

Срочное удаление без постоянного решения

Инструмент удаления URL в Search Console временно скрывает результат. Чтобы страница не вернулась, контент нужно удалить, защитить доступом или установить корректный noindex. Для Яндекса также сначала настраивают постоянный технический способ исключения.

Ошибки деиндексации могут затронуть целые разделы и привести к потере трафика. Если после изменений число страниц в поиске резко снизилось, специалисты КОМПСЕТИ могут проверить запреты, шаблоны и коды ответа в рамках SEO-продвижения.

Сначала устраните механизм, который мешает индексации:

• удалите noindex из метатега или HTTP-заголовка;
• измените правило Disallow, если робот должен обходить страницу;
• отключите пароль или ограничение доступа, если документ стал публичным;
• восстановите код 200 для существующей страницы;
• отмените ошибочный редирект;
• верните канонический URL в sitemap.xml и внутреннюю перелинковку.

После изменений проверьте опубликованную страницу как поисковый робот. В Яндекс Вебмастере отправьте важный URL на переобход. В Google Search Console запустите проверку опубликованной страницы и запросите индексирование.

Возврат не происходит мгновенно. Поисковой системе нужно снова обнаружить страницу, обойти ее и обновить индекс. Запрос на переобход ускоряет обнаружение изменений, но не гарантирует добавление документа в поиск.

Если запрет действовал долго, проверьте, остались ли внутренние ссылки на страницу, соответствует ли она поисковому спросу и не выбрал ли поисковик другой canonical. После массового открытия раздела контролируйте отчеты об индексировании, статистику обхода и серверные ошибки.

Полезные связанные материалы:

• Индексация сайта: что это и как проверить страницы в поиске;
• Robots.txt: что это и как правильно настроить;
• Технический SEO-аудит сайта: что проверять.

Чтобы закрыть сайт или страницу от индексации, сначала определите конечный результат. Robots.txt ограничивает сканирование, noindex исключает доступный документ из поиска, авторизация защищает закрытые данные, редирект ведет на новый адрес, а 404 или 410 сообщает об удалении.

Самая частая техническая ошибка — запретить обход страницы, на которой поисковик должен прочитать noindex. Перед массовым изменением проверяйте выборку URL, а после публикации контролируйте фактический HTML, HTTP-заголовки и отчеты Яндекс Вебмастера и Google Search Console.

Источники для редактора

• Яндекс Вебмастер — как запретить индексирование сайта или страниц
• Яндекс Вебмастер — использование robots.txt
• Google Search Central — блокировка индексирования с помощью noindex
• Google Search Central — удаление информации из Google
• Google Search Central — руководство по robots.txt