Run to run Variability
Run-to-run Variability обозначает изменчивость ответов при повторении одного запроса в одной ИИ-системе. Могут меняться компании в списке, порядок, формулировки и ссылки. Поэтому единичный ответ является наблюдением конкретного запуска, а не постоянным свойством бренда в нейросети.
Откуда возникают различия
На результат способны влиять генерация текста, подбор поисковых материалов, обновление источников и скрытые настройки сервиса. Даже похожие условия не гарантируют тождественного ответа. Исследователь обычно не видит все внутренние причины и не должен приписывать каждое изменение одному параметру модели.
Память диалога создаёт отдельное различие. Повтор вопроса в той же беседе может сопровождаться уже известным контекстом, включая названные ранее компании. Для измерения независимого пользовательского старта нужны новые сессии по согласованному протоколу.
Что повторять и сохранять
В серии фиксируют точный текст вопроса, продукт, режим, дату и полный ответ. Между попытками сохраняют одинаковые пользовательские условия. Если специально меняют формулировки, это уже исследование чувствительности к перефразированию, рассмотренное в статье № 57 «Перефразирование промптов».
| Наблюдаемый элемент | Пример изменчивости |
|---|---|
| Присутствие бренда | Появился в трёх из пяти ответов |
| Рекомендация | В одном ответе предложен, в другом исключён |
| Позиция | Переместился с первого пункта на четвёртый |
| Источник | Вместо сайта использован отраслевой обзор |
| Факт | Изменились названные условия услуги |
Разные элементы могут вести себя неодинаково. Смысл ответа сохраняется при смене формулировки, а стабильное название бренда может сопровождаться нестабильными фактами. Поэтому совпадение текста целиком не является единственным полезным критерием.
Условный пример
По одному вопросу компания встретилась в четырёх из пяти ответов, по другому в одном из пяти. Оба запроса можно назвать покрытыми по правилу «хотя бы раз», но устойчивость присутствия явно различается. Связь с охватом запросов объясняется в статье № 125 «Prompt Coverage».
Если следующая серия дала три появления вместо четырёх, этого недостаточно для вывода о падении после правки сайта. При малом числе попыток одно наблюдение сильно меняет процент. Для решения важны размер эффекта, длительность наблюдения и характер обычных колебаний.
Сколько попыток необходимо
Универсального числа повторов нет. Оно зависит от исходной частоты, требуемой точности и величины изменения, которое нужно различить. Небольшой пилот помогает оценить разброс и спланировать дальнейший сбор. Нельзя выбирать число запусков после того, как получен удобный результат.
Для простой бинарной доли при независимых испытаниях стандартная ошибка оценивается как квадратный корень из p × (1 − p) / n. Здесь p означает наблюдаемую долю, а n число испытаний. Но ответы по похожим запросам и в одном временном окне могут быть зависимыми. Тогда большое число строк не равно такому же числу независимых наблюдений, и наивная оценка точности будет завышена.
Как сообщать результат
Вместо фразы «бренд находится на втором месте» полезнее записать, в скольких ответах он появился и как распределились позиции. Для длинного наблюдения показывают серии по датам, а не только общий итог. Временная динамика рассматривается в статье № 133 «Longitudinal Monitoring».
Сохранённые ответы позволяют отделить ошибку сборщика от изменения системы. Если внезапно пропали все ссылки, сначала проверяют получение данных и интерфейс. Редакционные решения лучше принимать после подтверждения устойчивого содержательного изменения, а не после одного необычного запуска.
Источники
NIST SEMATECH. Confidence intervals for proportions
Вопросы и ответы
Что повторять и сохранять?
В серии фиксируют точный текст вопроса, продукт, режим, дату и полный ответ. Между попытками сохраняют одинаковые пользовательские условия. Если специально меняют формулировки, это уже исследование чувствительности к перефразированию, рассмотренное в статье № 57 «Перефразирование промптов».
Сколько попыток необходимо?
Универсального числа повторов нет. Оно зависит от исходной частоты, требуемой точности и величины изменения, которое нужно различить. Небольшой пилот помогает оценить разброс и спланировать дальнейший сбор.
Как сообщать результат?
Вместо фразы «бренд находится на втором месте» полезнее записать, в скольких ответах он появился и как распределились позиции. Для длинного наблюдения показывают серии по датам, а не только общий итог.
Дата обращения к источникам: 22 октября 2026 года.