Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

Трансформеры широко применяются для моделирования последовательностей, однако по мере роста размера моделей и объёмов данных, их обучение и применение требуют всё больше вычислительных ресурсов и всё чаще упираются в практические ограничения. В реальных условиях вычислительные ресурсы и доступная память всегда конечны, поэтому повышение эффективности важно как для научных исследований, так и для промышленного использования.

В диссертации предлагаются методы повышения эффективности моделей на основе трансформеров, направленные на снижение затрат видеопамяти и уменьшение времени выполнения при сохранении конкурентоспособного качества моделей. Подходы оцениваются в задачах обработки естественного языка (NLP) и рекомендательных систем (RecSys) - двух прикладных областях крупномасштабного моделирования последовательностей. Во-первых, предлагается метод параметроэффективного дообучения (PEFT), который разреживает обновления линейных преобразований в MLP: обновления переносятся в более информативное низкоразмерное пространство, благодаря чему в ходе дообучения изменяется лишь небольшая структурированная часть весов модели. Во-вторых, вводятся два метода обучения для последовательных рекомендаций при большом каталоге, использующие стохастические аппроксимации целевой функции кросс-энтропии, что делает оптимизацию масштабируемой. Наконец, исследуется феномен неавторегрессионного декодирования в авторегрессионных больших языковых моделях: выявляются и анализируются внутренние представления, обеспечивающие возможность такого поведения. Эксперименты в NLP и RecSys показывают, что предложенные подходы устойчиво превосходят сильные базовые методы при сопоставимых вычислительных бюджетах.

The increasing volume of publicly available tandem mass spectrometry data, often in the terabytes, along with advancements in mass spectrometry technology, has created a pressing need for improved analytical tools. In response to this challenge, this dissertation focuses on computationally efficient methods for identifying and quantifying peptides in tandem mass spectrometry data, where computational efficiency refers to achieving the same results while minimising processing time and memory usage.