• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
2025/2026

Глубинное обучение в обработке звука

Статус: Маго-лего
Когда читается: 2, 3 модуль
Охват аудитории: для своего кампуса
Язык: русский
Кредиты: 6
Контактные часы: 28

Программа дисциплины

Аннотация

Данный курс посвящен обработке звукового сигнала с помощью глубинного обучения. В течение курса студенты изучают несколько разных разделов, включая перевод речи в текст, генерация музыки и речи, а также разделение смесей аудиозаписей. Помимо этого, курс развивает инженерные навыки, а изученные техники пригодятся и в других модальностях.
Цель освоения дисциплины

Цель освоения дисциплины

  • Понимание устройства звука и математических основ обработки сигналов
  • Понимание методов решения современных задач в обработке звука с помощью глубинного обучения
  • Умение писать качественный код обучения и использования нейронных сетей
Планируемые результаты обучения

Планируемые результаты обучения

  • Студенты знают и могут применять цифровую обработку сигналов
  • Студенты знают и могут применять техники глубинного обучения для различных задач обработки звука
  • Студенты умеют писать качественный код
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Цифровая обработка сигналов
  • Автоматическое распознавание речи
  • Мультимодальные большие языковые модели
  • Обнаружение голосовой активности, диаризация
  • Введение в синтез речи и акустические модели
  • Вокодеры и end-to-end модели синтеза речи
  • Нейросетевые кодеки
  • Синтез речи, основанный на LLM
  • Синтез музыки
Элементы контроля

Элементы контроля

  • неблокирующий Домашнее задание 1
    Цифровой синтез музыки
  • неблокирующий Домашнее задание 2
    Автоматическое распознавание речи
  • неблокирующий Домашнее задание 3
    Синтез речи
  • неблокирующий Домашнее задание 4
    Нейросетевой синтез музыки
Промежуточная аттестация

Промежуточная аттестация

  • 2025/2026 3rd module
    0.2 * Домашнее задание 1 + 0.3 * Домашнее задание 2 + 0.3 * Домашнее задание 3 + 0.2 * Домашнее задание 4
Список литературы

Список литературы

Рекомендуемая основная литература

  • Deep learning, Kelleher, J. D., 2019
  • Oppenheim, A. V., & Schafer, R. W. (2014). Discrete-Time Signal Processing: Pearson New International Edition (Vol. Third edition, Pearson new international edition). Harlow: Pearson. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1418218

Рекомендуемая дополнительная литература

  • Introduction to deep learning, Charniak, E., 2018

Авторы

  • Ахмедова Гюнай Интигам кызы
  • Кантонистова Елена Олеговна