Answer Faithfulness
Answer Faithfulness означает соответствие ответа содержанию источников, на которые система опирается. Проверка отвечает на вопрос, подтверждаются ли сформулированные тезисы предоставленным контекстом. Это отдельное свойство: ответ может верно пересказывать ошибочный документ и при этом быть неверным относительно реальности.
Три самостоятельные проверки
Корректность факта, верность пересказа и полезность ответа связаны, но не совпадают. Устаревшая инструкция может быть пересказана без искажений. Точный фрагмент может не отвечать на вопрос пользователя. Поэтому одной оценки faithfulness недостаточно для общего вывода о качестве.
В GEO это различие особенно важно при анализе цитирования. Видимая ссылка помогает установить объект проверки, но не гарантирует, что все соседние утверждения из него следуют. Указание происхождения информации рассматривается в статье № 45 «Source Attribution».
От ответа к отдельным тезисам
Ответ разбивают на утверждения, которые можно сопоставить с источником. Фраза «компания работает в трёх городах и доставляет заказ за сутки» содержит как минимум два тезиса. Один может быть подтверждён, другой нет. Оценка всего предложения одним статусом скрывает эту разницу.
| Источник сообщает | Ответ утверждает | Оценка переноса |
|---|---|---|
| Доставка от одного дня | Доставка всегда за сутки | Условие искажено |
| Услуга доступна в двух филиалах | Услуга доступна во всей сети | Необоснованное обобщение |
| Тест проведён на одной модели | Результат верен для всей линейки | Граница применимости расширена |
| Цена действует до конца месяца | Названы цена и срок действия | Контекст сохранён |
При проверке учитывают отрицания, единицы измерения, даты и условные формулировки. Потеря одного ограничения способна изменить практический смысл сильнее, чем неточная стилистика.
Пример формального показателя
В методике Ragas faithfulness оценивается через долю утверждений ответа, которые поддерживаются предоставленным контекстом. Если подтверждены четыре из пяти выделенных тезисов, результат по такой схеме составит 0,8. Способ выделения тезисов и правила подтверждения влияют на итог.
Число само по себе не отражает тяжесть ошибки. Один неподтверждённый адрес может быть важнее нескольких корректных общих фраз. Поэтому рядом с долей нужен перечень существенных искажений и их возможных последствий.
Ограничения публичного аудита
Внутренний контекст ассистента обычно недоступен полностью. Исследователь видит ответ и часть ссылок. Поэтому корректно говорить о поддержке тезисов видимыми источниками, а не о полном знании того, что получила модель.
Отсутствие тезиса в показанных ссылках не всегда доказывает его ложность. Можно отметить «не подтверждён доступными источниками» и отдельно проверить факт по надёжным данным. Ошибочные факты рассматриваются в статье № 146 «AI Hallucinations».
Автоматическая и ручная оценка
Языковая модель может помогать выделять тезисы и искать подтверждения, но её вердикты также требуют проверки. Важные случаи оценивают вручную, особенно когда смысл зависит от ограничения или нескольких документов. Для сравнения периодов сохраняют инструкцию оценщика и версию метода.
Источники желательно сохранять в состоянии на дату ответа. Страница могла измениться позже, и сегодняшнее отсутствие фразы не доказывает, что её не было во время генерации.
Как улучшать исходный материал
Чёткие определения, близкое расположение оговорок и явные границы данных облегчают точный пересказ. Если условие доставки спрятано далеко от обещания срока, фрагмент может быть использован без него. Самостоятельные смысловые блоки раскрываются в статье № 62 «Цитируемые фрагменты (Citable Passages)».
Такая редактура не гарантирует безошибочного ответа, но устраняет часть неоднозначностей на стороне источника. Проверка faithfulness помогает находить именно эти места и оценивать качество присутствия бренда содержательно.
Источники
Вопросы и ответы
Как улучшать исходный материал?
Чёткие определения, близкое расположение оговорок и явные границы данных облегчают точный пересказ. Если условие доставки спрятано далеко от обещания срока, фрагмент может быть использован без него.
Дата обращения к источникам: 22 октября 2026 года.