Методология тестирования способностей генеративных фундаментальных моделейMethodology for testing the capabilities of generative foundation models

Диссертационная работа Алены Сергеевны Феногеновой посвящена разработке комплексной методологии оценки генеративных фундаментальных моделей, в частности больших языковых моделей (БЯМ, англ. LLM), для русского языка. Актуальность исследования обусловлена стремительным развитием LLM, демонстрирующих беспрецедентные способности, и одновременным отсутствием объективных, воспроизводимых и методологически выверенных инструментов для их сравнения на русском языке. Существующие бенчмарки англоцентричны и не учитывают лингвистическую и культурную специфику нерусских языков, а их механический перевод приводит к систематическим искажениям и неадекватной оценке возможностей моделей.
В работе решается фундаментальная научная проблема, связанная с дефицитом всесторонней системы оценки LLM для русского языка. Автор анализирует эволюцию подходов к бенчмаркингу от классических тестов на понимание языка (Russian SuperGLUE) до первых бенчмарков для генеративных моделей (TAPE), выявляя их ключевые ограничения. На этой основе разработан и представлен новый, масштабный бенчмарк MERA, который включает более 20 задач в инструктивном формате, охватывающих 10 ключевых навыков — от базового понимания и экспертных знаний до программирования и этических оценок. Методологически MERA опирается на тесты с закрытыми ответами, что минимизирует риск «загрязнения» данных и обеспечивает высокую воспроизводимость и автоматизируемость результатов.
Основной вклад работы заключается не только в создании самого бенчмарка, но и в проведении масштабного тестирования: в рамках исследования было протестировано более 100 моделей и их конфигураций. Полученные результаты, сопоставленные с эталонными человеческими показателями, предоставили детализированную картину сильных и слабых сторон фундаментальных моделей. 
Разработанные в диссертации методологические фреймворки, открытая кодовая база и лидерборд MERA стали де-факто стандартом для независимого тестирования русскоязычных моделей, получив поддержку ведущих индустриальных и академических организаций. Практическая значимость работы заключается в предоставлении инструментов для оценки и целевого совершенствования русскоязычных моделей в сфере искусственного интеллекта.