АЛГОРИТМ ПРИОРИТИЗАЦИИ ЭКСПЕРТНОЙ ПРОВЕРКИ ПРИ ФОРМИРОВАНИИ ЭТАЛОННОЙ РАЗМЕТКИ
Keywords:
эталонная разметка, корпуса знаний, экспертная проверка, приоритизация, оценка риска, контроль качества.Abstract
Рассматривается задача распределения экспертного времени
при проверке предварительной разметки корпусов знаний. Предлагается
алгоритм приоритизации объектов на основе вероятности ошибки, значимости
её последствий и предполагаемой трудоёмкости проверки. Описываются
формирование очереди экспертных заданий, её адаптивное обновление и
независимый контроль автоматически принятых меток. Определяются
показатели для экспериментальной оценки алгоритма.
References
Таким образом, предлагаемый алгоритм связывает порядок экспертной
проверки с риском ошибочной разметки, последствиями ошибки и стоимостью
её проверки. Его практическая ценность состоит в организации объяснимой и
адаптивно обновляемой очереди заданий. Ожидается, что сочетание
приоритизации, охвата различных групп и независимого аудита позволит
рациональнее использовать экспертное время. Величина достигаемого эффекта
должна быть установлена экспериментально.
