Обучение устойчивых представлений последовательных данных путём учета контекстаRobust representation learning for sequential data via context-awareness

Нейросетевые модели на основе кодировщиков последовательностей сегодня показывают высокое качество в анализе последовательных данных. При этом существующие подходы к обучению представлений обычно рассматривают каждую последовательность изолированно и не учитывают ни внешний контекст, ни зависимости между объектами. Из-за этого страдают и качество получаемых векторов представлений, и их устойчивость. Реальные прикладные задачи, напротив, требуют принимать во внимание взаимосвязи между последовательностями и глобальные факторы, от которых зависит динамика данных.Цель работы — разработать методы обучения представлений для последовательных данных, в которых агрегация внешнего контекста позволяет интегрировать информацию из внешних источников. Для этого решаются следующие задачи: (1) разработка методологии учета внешнего контекста для нейронных сетей в области последовательных данных; (2) разработка механизмов агрегации представлений, учитывающих взаимосвязи между последовательностями; (3) исследование устойчивости моделей для последовательных данных к злонамеренным возмущениям.Научная новизна состоит в том, что разработан новый класс методов агрегации внешнего контекста на основе обучаемых механизмов внимания. Предложенная модель, в отличие от существующих подходов, учитывает и локальную структуру последовательности, и глобальные зависимости между объектами, причём связи между ними не нужно задавать явно. Добавление внешнего контекста улучшает качество представлений и вдобавок делает модели устойчивее к локальным возмущениям входных данных.Значимость работы связана с универсальностью предложенного подхода. Разработанный фреймворк применим в самых разных задачах и позволяет повысить точность и устойчивость моделей; особенно это ценно там, где данные зашумлены или неполны.