Автоматизация создания неправильных вариантов (дистракторов) для банков заданий языкового тестированияAutomation of Distractor (Incorrect Option) Creation for Language Testing Item Banks

Работа посвящена созданию дистракторов (неправильных вариантов ответа) для вопросов с множественным выбором на владение русским и английским языками. Вопросы с множественным выбором (выбором ответа из нескольких вариантов) являются удобной формой тестирования, поскольку они могут быть легко оценены автоматически. Методы автоматической генерации дистракторов могут позволить снизить затраты на разработку тестовых банков вопросов.В работе представлены подходы к генерации дистракторов для двух типов экзаменационных заданий – заполнения пропуска в тексте и выбора высказывания, соответствующего тексту. Подход к генерации дистракторов для заданий на заполнение пропусков использует словарь, построенный на основе учебного корпуса и ресурсов дистрибутивной семантики, а также классификационную модель машинного обучения, учитывающую векторные представления слов и предложений вместе с частотными данными корпуса. В ходе экспериментов было установлено, что использование классификатора повышает эффективность словарного подхода, а дополнительная ручная разметка дистракторов по приемлемости в контексте способствует более точной классификации.Подход к генерации дистракторов на выбор соответствующих тексту утверждений основан на дообучении больших языковых моделей RuT5 и RuGPT3, а также промптинге больших диалоговых моделей. Для дообучения использовались элементы автоматически переведённого англоязычного набора данных экзаменационных вопросов, а также русскоязычного набора данных тестовых вопросов общего характера. Было установлено, что RuT5 превосходит по качеству генерации другие дообученные модели, а дообучение на переведённых англоязычных данных экзаменационного формата оказывается более эффективным, чем дообучение на русскоязычных данных общего формата. Кроме того, было выявлено, что промптинг превосходит подход на основе дообучения как с точки зрения общепринятых метрик качества генерации, так и с точки зрения большинства предложенных в работе метрик фактического несоответствия и релевантности, а также большинства метрик лексической и синтаксической сложности.