Сначала согласуйте пороги
Введите минимальную долю успешных проверок для вашего набора. Универсального порога нет: условия приёмки зависят от задачи и цены ошибки.
Отказы проверяются отдельно. Дефект доступа или итоговый статус «Дефект» нельзя компенсировать высоким средним процентом.
Что получилось на вашем наборе
Доля вопросов с эталоном, где поиск нашёл нужный фрагмент
—Доля корректных ответов
—Корректные отказы
—Проверочные вопросы
Пять учебных сценариев — заготовки для ваших документов. Все оценки пока пустые: примеры не являются результатами проверки системы.
На узком экране таблицу можно прокрутить вправо. В каждой строке ровно восемь полей из статьи.
| Вопрос | Ожидаемое поведение | Эталон | Поиск | Ответ | Доступ | Обновление | Результат |
|---|
Как считаются доли и итог
- Поиск: число оценок «Нужный фрагмент найден» / все вопросы с непустым эталоном. Неоценённые строки остаются в знаменателе.
- Ответы: число оценок «Корректно» / все вопросы с ожидаемым ответом или уточнением. Группа обязательных отказов сюда не входит.
- Отказы: число оценок «Корректно» / все вопросы с ожидаемым отказом. Добавьте такие вопросы, даже если система хорошо отвечает на обычные.
- Если в группе ещё нет ни одной оценки, показан прочерк. Рядом всегда видны числитель, знаменатель и число непроверенных вопросов. Сравнение порога использует точное значение, а не округлённый процент.
- Итог появляется после заполнения всех проверок, порогов и обеих групп поведения. Он относится только к этому набору вопросов. Оценки и итоговый статус строки выставляет человек по свидетельствам; приложение не обращается к RAG-системе и не проверяет её автоматически.