«Яндекс» и МФТИ научились нейросети оценивать ответы на онлайн-этапе Школьной олимпиады «Ломоносовский турнир».. Впервые ЯндексGPT проверил 35 000 работ по трем предметам: физика, химия и астрономия. Это позволило сократить этап оценки работ с трех месяцев до одного, при этом качество проверки осталось на прежнем уровне. Это означало, что участники получали результаты быстрее, и экспертам МФТИ не приходилось вручную проверять все ответы.
Турнир имени М.В. Ломоносова – соревнование для школьников 6-11 классов. по математике, физике, астрономии, истории, лингвистике и другим предметам, который состоит из двух этапов: онлайн-отбора и финального очного турнира. Олимпийские игры проводятся ежегодно с 1978 года. Его реализуют Центр педагогического мастерства Минобразования Москвы, Московский центр непрерывного математического образования, МГУ и МФТИ. Ежегодно в турнире принимают участие более 35 000 студентов.. В последние годы осенний тур проходит онлайн на платформе «Сириус», а задания по естественнонаучным предметам составляются и контролируются комиссией МФТИ.
Разработчики Яндекса совместно со специалистами Физтеха изучили YandexGPT, чтобы определить, соответствует ли ответ критериям оценки. Если нейросеть не находила нужных совпадений, она начисляла ноль баллов. Такая автоматическая проверка позволила экспертам уделять больше внимания работам, получившим больше баллов. Модель была обучена с использованием решений, полученных в онлайн-этапах предыдущих лет. Чтобы убедиться в точности алгоритма, эксперты перепроверили некоторые работы, оцененные нейросетью.. Результаты показали, что точность оценки работы соответствует уровню предыдущих лет — 95%.
В ноябре у участников была возможность подать апелляцию и указать, что они не согласны с присужденными баллами. Количество обращений осталось на уровне прошлого года. Это говорит о том, что использование нейросети не снизило качество оценки работы, но существенно увеличило ее скорость. А полная экспертиза всех решений с оценкой выше нуля исключила риск незаработанного вознаграждения.
Участники олимпиады по физике, химии и астрономии уже получили свои результаты и сертификаты в ноябре. В дальнейшем организаторы планируют использовать YandexGPT и на других олимпиадах, где есть онлайн-туры, что позволит не только сократить время проверки, но и увеличить количество заданий с развернутым ответом в онлайн-турах олимпиад.
