Chunking: разбиение на фрагменты

Chunking означает разделение документа на части для хранения, поиска или передачи модели. Вместо целой книги или длинной страницы система может извлечь несколько подходящих фрагментов. Это помогает работать с ограничениями объёма и выделять нужные сведения, но качество разбиения влияет на сохранение смысла.

Почему граница имеет значение

Если условие отделено от утверждения, извлечённый фрагмент может вводить в заблуждение. Например, текст сообщает «поддержка доступна круглосуточно», а следующая строка уточняет «только для аварийных обращений по расширенному договору». При неудачном разбиении ограничение окажется вне переданного контекста.

Проблема касается также таблиц. Значение без заголовка столбца не сообщает, в каких единицах оно выражено. Строка тарифа без названия тарифа теряет объект. Поэтому механическое разделение по одинаковому числу символов не всегда сохраняет достаточную информацию.

Способы разбиения

Подход	Преимущество	Ограничение
Фиксированный размер	Простота и предсказуемость	Возможен разрыв мысли
По структуре документа	Сохранение разделов и абзацев	Разделы бывают слишком длинными
По смысловым границам	Более связные части	Зависимость от метода и качества обработки
С перекрытием соседей	Меньше потерь на границе	Повторение данных и дополнительные затраты

Универсального идеального размера нет. Он зависит от модели представлений, типа документов, вопросов и ограничений системы. Число, удачное для коротких инструкций, может плохо работать для юридических документов или больших таблиц.

Что доступно издателю

Владелец публичного сайта обычно не управляет тем, как внешний сервис разделит страницу. Но он может сделать структуру осмысленной: один раздел об одном вопросе, ясные заголовки, условия рядом с фактами, подписи у таблиц. Это не гарантия конкретного разбиения, а улучшение исходного материала.

Следует избегать местоимений без понятного объекта в ключевых абзацах. Фраза «он поддерживает это во всех версиях» зависит от далёкого контекста. «Продукт X поддерживает экспорт отчётов во всех действующих тарифах» самостоятельнее, если утверждение действительно верно. При этом механическое повторение полного названия в каждой строке не требуется.

Пример редакционной правки

На странице услуги цена указана в первом блоке, состав работ в середине, а обязательная доплата в сноске внизу. Для читателя это неудобно, для извлечения фрагментов рискованно. Лучше собрать цену, единицу расчёта, включённые работы и существенные исключения в одном логическом разделе.

Такой раздел может быть текстом или таблицей. Выбор определяется сравнением и объёмом информации, а не предположением, будто нейросети всегда предпочитают определённый формат. Цитируемым смысловым блокам посвящена статья № 62 «Цитируемые фрагменты (Citable Passages)».

Как проверять собственную систему

После разбиения полезно читать отдельные фрагменты вне документа. Понятно ли, к какому объекту они относятся? Сохранились ли версия, единицы и отрицания? Затем проверяют реальные вопросы: найден ли нужный блок и достаточно ли его для ответа без догадок.

В публичном GEO можно оценивать только видимые цитаты и пересказы, если внутренние фрагменты не раскрыты. Нельзя уверенно объяснять любую потерю оговорки именно chunking: она могла исчезнуть позже при генерации. Для диагностики важна последовательность возможных причин. Ограничения контекста рассматриваются в статье № 43 «Context Window».

Источники

Microsoft Learn. Chunk documents for vector search

Вопросы и ответы

Почему граница имеет значение?

Что доступно издателю?

Как проверять собственную систему?

Дата обращения к источникам: 21 октября 2026 года.