Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

Диссертация посвящена трём взаимосвязанным компонентам самоконтролируемого обучения: архитектурам моделей, функциям потерь и специфичным для данных вспомогательным задачам, применительно к визуальным данным, временным рядам с промышленных датчиков и графовым данным. Для визуальных данных предложены архитектуры на основе рекуррентных сетей с механизмами внимания и визуальных трансформеров для монокулярной оценки глубины, включая облегчённую модель для мобильных устройств. Отдельно разработаны подходы к визуальному распознаванию места на основе семантической и глубинной информации и фреймворк дистилляции знаний «учитель-ученик» для обнаружения 3D-объектов. В части временных рядов с промышленных датчиков разработаны специализированные функции потерь и архитектуры моделей взаимодействия, которые позволяют устойчиво диагностировать неисправности и предсказывать остаточный ресурс промышленного оборудования при минимальном объёме размеченных данных. На графовых данных предложены новые вспомогательные задачи: построение векторных представлений рёбер статических и динамических графов, обучение на молекулярных графах и формирование вознаграждения в обучении с подкреплением на основе графовых нейронных сетей. Результаты расширяют теоретическую базу самоконтролируемого обучения и апробированы в задачах промышленных партнёров. В их числе интеграция в задачах индустриальных партнеров.

Implicit Neural Representations (INRs) recently emerged as a powerful and compact 3D representation, well fitted for the needs of differential rendering. On the other hand, basic INRs and algorithms for their optimization lack the number of qualities especially important for the tasks of multi-view reconstruction and 3D generation. These qualities include the inability of INRs to represent a large variety of objects simultaneously and excessive rendering time. Also, when combined with the generation approaches, INRs often fail to produce results which are multi-view consistent, or consistent with each other, in the case of the generation of multiple instances. In order to overcome the described drawback, a number of methods is developed and described in the current thesis: a method for training hypernetwork INR in the role of Generative Adversarial Network (GAN) generator; a method for obtaining aligned 3D models, parameterized by a single INR, given a set of text prompts; an algorithm for fast rendering and reconstruction of the implicit surface; an approach for completing the surface, which is observed only partially; a GAN-based image generation method for unsupervised shape/appearance disentanglement, where deformation maps and textures are produced by separate INR generators. Developed methods widen the scope of the application for the Implicit Neural Representations, allowing to model complex structures of the significant variety. They also allow to manipulate existing 3D objects, edit them and complete the missing parts, producing the assets which could be used in computer graphics applications.