Выявление структурных компонентов языковых моделей, ответственных за лингвистические и фактологические знания, и управление имиIdentifying and controlling the structural components oflanguage models responsible for linguistic and factualknowledge

Современные нейронные языковые модели демонстрируют впечатляющую эффективность в различных задачах, однако их внутреннее устройство остаётся малоизученным. В этой диссертации мы предлагаем новый подход к обнаружению, сохранению и управлению модульной организацией знаний внутри этих моделей. Мы показываем, что сжатие не только уменьшает конечный размер моделей, но и служит научным инструментом, который позволяет понять, как языковые модели структурируют различные типы знаний в отдельные модули.Мы провели систематический анализ на различных архитектурах (BERT, GPT, LLaMA) и задачах, чтобы выявить, как синтаксические знания располагаются в устойчивых к сжатию линейных подпространствах, семантическое понимание модели закодировано в комплексной структуре кодирования, а фактические знания зависят от конкретных конфигураций параметров. Основываясь на этих знаниях, мы предлагаем методы сжатия, учитывающие структуру и сохраняющие выделенные блоки знаний. В результате мы достигаем превосходного баланса между сжатием и производительностью по сравнению с традиционными методами, которые не учитывают структуру. В завершение, мы подтверждаем, что структурные модули могут быть напрямую изменены для достижения точного контроля над поведением. В задачах по детоксикации текста мы применяем метод исправления активаций, чтобы продемонстрировать, как можно изменить конкретные модули, отвечающие за фильтрацию контента, сохраняя при этом все остальные функции. В этой работе мы представляем целостную структуру, начиная от нахождения и идентификации и заканчивая практическим применением. Сжатие позволяет выявить модульную организацию нейронных сетей, что открывает новые горизонты для создания более эффективных, интерпретируемых и контролируемых языковых моделей. Наши исследования показывают, что понимание внутренней структуры нейронных сетей, а не просто их использование как чёрных ящиков, является ключом к их оптимизации и широкому распространению.