Метрики до запуска, а не после
Точность, полнота и стабильность на исторических примерах фиксируются заранее. Так у команды есть база для сравнения, когда сценарий начнёт работать на живых документах и письмах свободного формата.
Что считается доказательством качества
На этой странице мы не приводим цифр и историй, которых у нас нет. Вместо этого описываем, по каким критериям проверяем работу моделей распознавания, классификации и извлечения смысла и как фиксируем прозрачность решений. Такой подход позволяет команде видеть, почему решение принято, и корректировать сценарий, а не верить результату на слово.
Метрики качества
Для каждой модели заранее определяем точность, полноту и стабильность на исторических примерах. Без этих ориентиров нельзя понять, стало ли решение лучше после доработки.
Работа с исключениями
Отдельно фиксируем, что происходит, когда модель не уверена: кто принимает решение, как результат проверяется и куда попадает спорный случай.
Журналирование решений
Каждое автоматическое действие оставляет след: что было на входе, какие правила сработали, что получилось на выходе. Это основа для разбора и корректировки.
Понятные формулировки
Пользователь должен видеть, почему решение принято, а не только его результат. Формулировки проверяем так же внимательно, как и саму логику.
Ограничения подхода
Ни одна метрика не гарантирует качество на новых данных. Поэтому проверку на исторических примерах дополняем регулярным пересмотром сценария.