Распознавание объектов для построения трёхмерных семантических картObject Recognition for Building 3D SemanticMaps

Диссертационная работа посвящена построению трёхмерных семантических карт из последовательностей RGB-изображений — задаче, объединяющей геометрическую реконструкцию сцены с её семантическим пониманием. Такие карты востребованы в робототехнике, дополненной и виртуальной реальности, навигационных системах, где недостаточно просто геометрии пространства — требуется понимание типов и функций объектов в нём. В работе последовательно решаются три взаимосвязанные проблемы. Первая — точность геометрической основы: разработан метод оценки глубины из монокулярных изображений на основе авторегрессивной модели, позволяющий итеративно уточнять предсказания от грубых структур к деталям. Вторая — глобальная согласованность карты: исследованы методы многокритериальной оптимизации для задачи релокализации камеры, что позволяет корректно выстраивать пространственную топологию при обходе сцены. Третья — взаимодействие геометрии и семантики: предложен метод регуляризации трёхмерной реконструкции с использованием семантических меток, который использует архитектурные закономерности интерьеров (горизонтальность пола, вертикальность стен) для улучшения геометрии и повышения качества семантической разметки одновременно