Robots.txt

Robots.txt представляет собой файл с правилами обхода сайта для автоматизированных клиентов, которые поддерживают этот протокол. Он помогает сообщить, какие пути разрешено или запрещено запрашивать определённым роботам. В GEO файл важен для управления доступом, но не заменяет защиту закрытых данных и не является универсальным средством удаления информации из ответов ИИ.

Область действия правил

Файл размещают по пути /robots.txt соответствующего сайта. Правила относятся к определённому сочетанию протокола, хоста и порта. Поэтому настройки основного домена не следует автоматически считать настройками всех поддоменов и других вариантов адреса.

Группы правил связываются с User-Agent, а директивы Allow и Disallow описывают пути. Важны синтаксис и способ интерпретации конкретным роботом. Перед изменением необходимо проверить документацию нужного оператора, особенно если используются дополнительные директивы.

Чего файл не делает

Robots.txt не требует пароль и не скрывает страницу от посетителя, который знает адрес. Недобросовестный клиент может игнорировать правила. Закрытые документы защищают средствами авторизации и контроля доступа.

Запрет обхода также не равен запрету индексирования. В частности, Google может знать адрес по внешним ссылкам, даже если не загружает его содержимое. Для управления индексированием существуют другие механизмы, рассмотренные в статье № 77 «Indexability».

Разные роботы одной компании

Оператор может использовать отдельные клиенты для поиска, разработки моделей и действий пользователя. Поэтому решение «разрешить ИИ» слишком неопределённо. Нужно установить назначение конкретного робота и желаемую политику для него.

Например, OpenAI описывает отдельные роли OAI-SearchBot и GPTBot. Их назначение раскрывается в статьях № 80 «OAI-SearchBot» и № 81 «GPTBot». Нельзя переносить правила одного клиента на другой только потому, что оба относятся к одному разработчику.

Как менять правила безопасно

Сначала сохраняют действующую версию и формулируют цель изменения. Затем проверяют, какие пути попадут под правило. Слишком широкое Disallow может закрыть каталог, документацию или ресурсы, необходимые для обработки страниц.

После публикации проверяют доступность самого файла, его содержимое и ответы на контрольных URL. Изменение конфигурации CDN или защитного сервиса может препятствовать доступу независимо от robots.txt. Поэтому диагностика должна включать фактический сетевой ответ.

Как оценивать результат

Логи помогают увидеть обращения роботов, но название клиента в запросе требует проверки подлинности. Отсутствие нового обращения сразу после правки не доказывает ошибку: обход выполняется по собственному расписанию системы, а правила могут кэшироваться.

Для GEO полезно вести два отдельных наблюдения: разрешён ли нужный технический сценарий и используется ли материал в ответах. Разрешение обхода лишь снимает одно препятствие. Оно не подтверждает обучение на странице, наличие в индексе или рекомендацию бренда. Более общая проверка доступности рассматривается в статье № 76 «Crawlability».

Источники

Google Search Central. Introduction to robots.txt

Вопросы и ответы

Как менять правила безопасно?

Сначала сохраняют действующую версию и формулируют цель изменения. Затем проверяют, какие пути попадут под правило. Слишком широкое Disallow может закрыть каталог, документацию или ресурсы, необходимые для обработки страниц.

Как оценивать результат?

Логи помогают увидеть обращения роботов, но название клиента в запросе требует проверки подлинности. Отсутствие нового обращения сразу после правки не доказывает ошибку: обход выполняется по собственному расписанию системы, а правила могут кэшироваться.

Дата обращения к источникам: 22 октября 2026 года.