Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

Диссертация посвящена трём взаимосвязанным компонентам самоконтролируемого обучения: архитектурам моделей, функциям потерь и специфичным для данных вспомогательным задачам, применительно к визуальным данным, временным рядам с промышленных датчиков и графовым данным. Для визуальных данных предложены архитектуры на основе рекуррентных сетей с механизмами внимания и визуальных трансформеров для монокулярной оценки глубины, включая облегчённую модель для мобильных устройств. Отдельно разработаны подходы к визуальному распознаванию места на основе семантической и глубинной информации и фреймворк дистилляции знаний «учитель-ученик» для обнаружения 3D-объектов. В части временных рядов с промышленных датчиков разработаны специализированные функции потерь и архитектуры моделей взаимодействия, которые позволяют устойчиво диагностировать неисправности и предсказывать остаточный ресурс промышленного оборудования при минимальном объёме размеченных данных. На графовых данных предложены новые вспомогательные задачи: построение векторных представлений рёбер статических и динамических графов, обучение на молекулярных графах и формирование вознаграждения в обучении с подкреплением на основе графовых нейронных сетей. Результаты расширяют теоретическую базу самоконтролируемого обучения и апробированы в задачах промышленных партнёров. В их числе интеграция в задачах индустриальных партнеров.

Трансформеры широко применяются для моделирования последовательностей, однако по мере роста размера моделей и объёмов данных, их обучение и применение требуют всё больше вычислительных ресурсов и всё чаще упираются в практические ограничения. В реальных условиях вычислительные ресурсы и доступная память всегда конечны, поэтому повышение эффективности важно как для научных исследований, так и для промышленного использования.

В диссертации предлагаются методы повышения эффективности моделей на основе трансформеров, направленные на снижение затрат видеопамяти и уменьшение времени выполнения при сохранении конкурентоспособного качества моделей. Подходы оцениваются в задачах обработки естественного языка (NLP) и рекомендательных систем (RecSys) - двух прикладных областях крупномасштабного моделирования последовательностей. Во-первых, предлагается метод параметроэффективного дообучения (PEFT), который разреживает обновления линейных преобразований в MLP: обновления переносятся в более информативное низкоразмерное пространство, благодаря чему в ходе дообучения изменяется лишь небольшая структурированная часть весов модели. Во-вторых, вводятся два метода обучения для последовательных рекомендаций при большом каталоге, использующие стохастические аппроксимации целевой функции кросс-энтропии, что делает оптимизацию масштабируемой. Наконец, исследуется феномен неавторегрессионного декодирования в авторегрессионных больших языковых моделях: выявляются и анализируются внутренние представления, обеспечивающие возможность такого поведения. Эксперименты в NLP и RecSys показывают, что предложенные подходы устойчиво превосходят сильные базовые методы при сопоставимых вычислительных бюджетах.

This dissertation is devoted to the development and application of geometric and topological methods for analyzing, interpreting, evaluating, and improving deep learning models. The work investigates geometric and topological properties of internal data representations (embeddings) in various Deep Neural Network (DNN) architectures, including convolutional DNNs and Transformers under different training modes (e.g. supervised, self-supervised learning etc). A method for evaluating model performance based on geometric properties of intermediate representations is proposed. The research develops an approach for improving model performance through integration of domain-specific topological data information into embeddings and proposes a modification of the RNN architecture called TonnetzNet, demonstrating performance enhancement. The work also investigates the applicability of the fractal intrinsic dimension of Transformer embedding data manifold for robust detection of content generated by large language models (LLMs) and presents a method for synthetic image recognition. Finally, the capabilities and limitations of various language models are evaluated in tasks of modeling symbolic sequences representing elements from normal closures in free groups. The dissertation provides both theoretical insights and empirical validation of the developed methods. The research results contribute to the fields of AI safety, mechanistic interpretability, and explainable AI. Overall, the work emphasizes the promise and importance of geometric and topological methods not only as analytical tools, but also as a foundation for developing approaches to interpretation, evaluation, application, and improvement of DNNs.

This research focuses on developing methods for converting raster images and three-dimensional objects into vector representations using deep learning. Vectorization of objects involves finding object representations using mathematical primitives and relationships between them.To achieve this goal, the following tasks were addressed: data collection, construction of mathematical models, and development of vectorization algorithms. Data collection was performed by processing scanned images of 2D and 3D objects and generating synthetic data. Automatic algorithms using computer vision methods were developed for data cleaning and processing, along with procedures for manual data processing. These algorithms facilitate semi-automatic annotation of data, opening up the possibility to train neural networks using deep learning methods. Various neural network architectures, including convolutional neural networks and transformers, are explored to create models capable of accurately and efficiently vectorizing technical drawings and 3D point clouds. The proposed algorithms demonstrate high accuracy and efficiency in solving object vectorization tasks, with potential applications in computer vision, robotics, and data visualization.