Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

В рамках диссертации были исследованы различные архитектуры синтеза речи применительно к задаче клонирования голоса и предложена новая диффузионная модель. Рассматривались два сценария: кодирование по одному короткому аудио и адаптация части модели - и оптимальные способы их реализации. В качестве улучшений проверялась идея объединения диффузионных и генеративно-состязательных моделей с целью ускорения генерации речи, а также предложен метод модификации векторов голоса для синтеза эмоциональных записей.

В рамках диссертации рассмотрены системы синтеза речи, решающие задачи генерирования речи по тексту и копирования голоса из одного речевого фрагмента в другой. Указанные системы основаны на диффузионных вероятностных моделях, и для их ускорения предложены два метода: обобщение одного из типов диффузионных моделей до моделей с более подходящим проблеме априорным распределением и метод решения СДУ, обладающий некоторыми оптимальными свойствами с точки зрения правдоподобия. Кроме того, проанализирован улучшенный алгоритм копирования голоса, рассматривающий данную проблему с точки зрения транспортной задачи и поиска её оптимального решения.