В ходе недавней олимпиады по экономике была протестирована многоуровневая система оценки: параллельно с людьми задания проверяли две модели искусственного интеллекта, а при возникновении разногласий в баллах привлекалась третья нейросеть. Несмотря на технологический эксперимент, пресс-служба конференции #ВДЕЛЕ и специалист Фёдоровых подчеркивают, что окончательное слово в вопросе выставления оценок всегда остается за членами жюри.
Согласно анализу Фёдоровых, алгоритмы продемонстрировали более высокую последовательность в проверке по сравнению с человеческим фактором, однако столкнулись с системными ошибками в рамках одной из задач. Проблема проявилась лишь после того, как участники олимпиады подали массовые апелляции.
Специалист также выделил специфическую черту нейросетей: без жесткого указания в инструкции оценивать работы строже или принимать спорные моменты в пользу ученика, модели склонны завышать итоговые баллы. Фёдоровых предупредил, что подобные перекосы невозможно обнаружить через процедуру апелляции.
В контексте контроля за технологиями председатель совета по противодействию технологическим правонарушениям КС НСБ России Игорь Бедеров ранее в интервью RT высказывал мнение о необходимости верификации ответов ИИ в диалогах, при этом акцентируя внимание на том, что глубина такой проверки должна зависеть от уровня сопутствующих рисков.
