2025/2026





Глубинное обучение в обработке звука
Статус:
Маго-лего
Где читается:
Факультет компьютерных наук
Когда читается:
2, 3 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Кредиты:
6
Контактные часы:
28
Программа дисциплины
Аннотация
Данный курс посвящен обработке звукового сигнала с помощью глубинного обучения. В течение курса студенты изучают несколько разных разделов, включая перевод речи в текст, генерация музыки и речи, а также разделение смесей аудиозаписей. Помимо этого, курс развивает инженерные навыки, а изученные техники пригодятся и в других модальностях.
Цель освоения дисциплины
- Понимание устройства звука и математических основ обработки сигналов
- Понимание методов решения современных задач в обработке звука с помощью глубинного обучения
- Умение писать качественный код обучения и использования нейронных сетей
Планируемые результаты обучения
- Студенты знают и могут применять цифровую обработку сигналов
- Студенты знают и могут применять техники глубинного обучения для различных задач обработки звука
- Студенты умеют писать качественный код
Содержание учебной дисциплины
- Цифровая обработка сигналов
- Автоматическое распознавание речи
- Мультимодальные большие языковые модели
- Обнаружение голосовой активности, диаризация
- Введение в синтез речи и акустические модели
- Вокодеры и end-to-end модели синтеза речи
- Нейросетевые кодеки
- Синтез речи, основанный на LLM
- Синтез музыки
Элементы контроля
- Домашнее задание 1Цифровой синтез музыки
- Домашнее задание 2Автоматическое распознавание речи
- Домашнее задание 3Синтез речи
- Домашнее задание 4Нейросетевой синтез музыки
Промежуточная аттестация
- 2025/2026 3rd module0.2 * Домашнее задание 1 + 0.3 * Домашнее задание 2 + 0.3 * Домашнее задание 3 + 0.2 * Домашнее задание 4
Список литературы
Рекомендуемая основная литература
- Deep learning, Kelleher, J. D., 2019
- Oppenheim, A. V., & Schafer, R. W. (2014). Discrete-Time Signal Processing: Pearson New International Edition (Vol. Third edition, Pearson new international edition). Harlow: Pearson. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1418218
Рекомендуемая дополнительная литература
- Introduction to deep learning, Charniak, E., 2018