Indexability
Indexability означает возможность страницы быть включённой в поисковый индекс. Это отличается от возможности загрузить её: доступный документ может содержать запрет индексирования, оказаться дублем или не быть выбран системой. Для GEO различие важно, когда генеративный ответ использует поисковую инфраструктуру и найденные через неё материалы.
Доступность не равна присутствию
Ответ сервера 200 показывает успешную обработку запроса, но не подтверждает наличие страницы в индексе. Аналогично отправка URL через карту сайта сообщает о странице, однако не обязывает поисковую систему включить её в поиск.
Обратная ситуация тоже возможна: адрес известен поиску, но его содержимое недоступно для текущего обхода. Поэтому диагностика должна разделять обнаружение, загрузку, обработку и выбор канонической версии. Начальный этап описан в статье № 76 «Crawlability».
Основные проверки
| Проверка | Что она показывает |
|---|---|
| Статус ответа | Получает ли система действующую страницу |
| Мета robots и HTTP-заголовки | Есть ли указание noindex |
| Robots.txt | Может ли робот прочитать содержимое и директивы |
| Canonical | Какую версию сайт предлагает считать основной |
| Содержание | Не является ли страница пустой или повторяющей другую |
| Инструменты вебмастера | Как поисковая система обработала известный URL |
Google указывает, что для обнаружения директивы noindex робот должен иметь возможность загрузить страницу. Поэтому одновременная блокировка обхода через robots.txt может мешать прочитать запрет индексирования. Это разные механизмы, а не взаимозаменяемые переключатели.
Почему страницы исключаются
Не каждое исключение является ошибкой. Служебные фильтры, результаты внутреннего поиска и технические дубли часто не нужны как самостоятельные поисковые документы. Задача специалиста состоит в том, чтобы отличить намеренное ограничение от потери полезной страницы.
Например, новая инструкция может ошибочно указывать canonical на старую общую справку. Или после переноса сайта в шаблоне остаётся noindex, установленный для тестовой среды. Исправление требует установить конкретную причину, а не массово отправлять все URL на повторную обработку.
Каноническая версия
Поисковая система может объединять похожие адреса и выбирать один из них. Заявленный сайтом canonical является сигналом, но фактический выбор нужно проверять в доступных инструментах. Если основным выбран другой URL, сведения могут учитываться через него.
Это не означает, что все версии необходимо сделать индексируемыми отдельно. Иногда правильное решение заключается в согласовании ссылок, карты сайта и перенаправлений вокруг одного адреса. Подробнее об этом говорится в статье № 85 «Canonical URL».
Значение для генеративных систем
Нельзя считать все ИИ-сервисы единым индексом. Они могут использовать разные поисковые поставщики, собственные данные и прямую загрузку страниц. Отсутствие URL в одном поиске не доказывает его недоступность любому ассистенту, но может ограничивать конкретный путь обнаружения.
Поэтому технический вывод должен быть точным: страница не индексируется определённой системой по наблюдаемой причине. Формулировка «сайт закрыт для всех нейросетей» обычно требует гораздо больше доказательств.
После исправления наблюдают за обработкой страницы и отдельно за ответами на подходящие вопросы. Индексирование открывает возможность участия, но не гарантирует выбор источника. Связь традиционного поиска и GEO раскрывается в статье № 5 «SEO и GEO», а карта сайта как средство обнаружения в статье № 84 «XML Sitemap».
Источники
Google Search Central. Block Search indexing with noindex
Вопросы и ответы
Почему страницы исключаются?
Не каждое исключение является ошибкой. Служебные фильтры, результаты внутреннего поиска и технические дубли часто не нужны как самостоятельные поисковые документы. Задача специалиста состоит в том, чтобы отличить намеренное ограничение от потери полезной страницы.
Дата обращения к источникам: 22 октября 2026 года.