Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

Трансформеры широко применяются для моделирования последовательностей, однако по мере роста размера моделей и объёмов данных, их обучение и применение требуют всё больше вычислительных ресурсов и всё чаще упираются в практические ограничения. В реальных условиях вычислительные ресурсы и доступная память всегда конечны, поэтому повышение эффективности важно как для научных исследований, так и для промышленного использования.

В диссертации предлагаются методы повышения эффективности моделей на основе трансформеров, направленные на снижение затрат видеопамяти и уменьшение времени выполнения при сохранении конкурентоспособного качества моделей. Подходы оцениваются в задачах обработки естественного языка (NLP) и рекомендательных систем (RecSys) - двух прикладных областях крупномасштабного моделирования последовательностей. Во-первых, предлагается метод параметроэффективного дообучения (PEFT), который разреживает обновления линейных преобразований в MLP: обновления переносятся в более информативное низкоразмерное пространство, благодаря чему в ходе дообучения изменяется лишь небольшая структурированная часть весов модели. Во-вторых, вводятся два метода обучения для последовательных рекомендаций при большом каталоге, использующие стохастические аппроксимации целевой функции кросс-энтропии, что делает оптимизацию масштабируемой. Наконец, исследуется феномен неавторегрессионного декодирования в авторегрессионных больших языковых моделях: выявляются и анализируются внутренние представления, обеспечивающие возможность такого поведения. Эксперименты в NLP и RecSys показывают, что предложенные подходы устойчиво превосходят сильные базовые методы при сопоставимых вычислительных бюджетах.

The increasing volume of publicly available tandem mass spectrometry data, often in the terabytes, along with advancements in mass spectrometry technology, has created a pressing need for improved analytical tools. In response to this challenge, this dissertation focuses on computationally efficient methods for identifying and quantifying peptides in tandem mass spectrometry data, where computational efficiency refers to achieving the same results while minimising processing time and memory usage.

Исследование посвящено разработке алгоритмических средств анализа электрической активности головного мозга. Предложены новые подходы к оценке распределения и динамики нейрональных источников и функциональных сетей на основе обработки неинвазивных ЭЭГ и МЭГ измерений активности головного мозга. Разработана методология анализа МЭГ данных пациентов с эпилепсией с целью обнаружения эпилептогенной коры на основе анализа пространственной динамики локальной и распределенной нейрональной активности. Особое внимание уделено решению задачи декодирования нейрональной активности и приведены примеры применения разработанных  подходов при создании  моторных и речевых нейроинтерфейсов. В основе предлагаемых решений  - компактная нейронная сеть, для которой получены и верифицированы методики интерпретации весовых коэффициентов в призме существующих в нейронауке знаний о происхождении нейрональной активности и физике процесса ее регистрации. Эмпирически исследовано влияние задержки в предъявлении  сигнала обратной связи на эффективность технологии нейрообратной связи и предложены новые алгоритмы оценки параметров ритмической активности головного мозга в реальном времени, использование которых позволяет сократить задержку в предъявлении сигнала обратной связи и повысить эффективность терапии.

This thesis presents the mechanism for the evaluation of multilateral interchange fees efficiency. The mechanism is used for Russian retail payments market in order to test the efficiency of interchange fees currently set by payment systems. Empirical interchange fee evaluation mechanism is based on theoretical models of retail payments market equilibrium and uses proprietary nation-wide representative surveys of individuals (n=1500), merchants (n=800) and banks (7 banks from top 20, which collectively cover more than 80% of the issuing and acquiring markets) to estimate end-user benefits and other model parameters. Interchange fees are evaluated using three definitions of interchange fee efficiency: weak form (individual utility maximization of participants), semi-strong form (total welfare maximization) and strong form (Pareto efficiency). The key results of the thesis support efficiency of currently set interchange fees. The thesis presents the first ex-ante analysis of regulatory intervention in tariff formation in the retail payments market and implies that Russian regulator should consider alternative (non-tariff) stimulating measures to foster cashless payments market development.