Моделирование исправления ошибок в английских текстах с использованием синтетических и концентрированных наборов данныхModeling Error Correction in English Texts Using Synthetic and Concentrated Datasets

Задача GEC (Grammatical Error Correction; автоматическое исправление ошибок) в настоящее время сталкивается с «кризисом разрешающей способности». Результаты новейших моделей GEC оказываются настолько высоки в соответствии с общепринятыми метриками, что превосходят точность разметки людей-экспертов друг относительно друга. Несмотря на это, модели всё ещё не справляются на достаточном уровне с исправлением отдельных типов ошибок, которые свободно исправляет образованный носитель языка. Для решения этой проблемы мы предлагаем методологию концентрированных датасетов, которые должны использоваться при оценке моделей и для их обучения. Мы сосредотачиваемся на двух группах ошибок: ошибок на уровне символов (~ошибки правописания) и ошибки чувствительные к контексту. На примере ошибок на уровне слова демонстрируется применение методологии на всех этапах. Мы показываем, что текущее качество моделей на этом типе ошибок низкое, и, опираясь на синтетический датасет, обосновываем плодотворность использования концентрированных датасетов для оценки моделей. С использованием концентрированных обучающих данных разрабатывается нетребовательная к ресурсам модель для проверки правописания, превышающая по качеству работы современные SOTA модели. Предлагается объяснение, в соответствии с которым низкая производительность современных больших языковых моделей при исправлении ошибок на уровне слова состоит в особенностях используемых ими токенизаторов. На материале ошибок, чувствительных к контексту, мы демонстрируем, что методология может быть расширена на типы ошибок, для которых создание синтетических данных проблематично, а также делаем ряд наблюдений относительно того, как тип ошибки, чувствительной к контексту, влияет на качество ее исправления.