Бакалавриат
2023/2024



Глубинное обучение в обработке звука
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс по выбору (Прикладная математика и информатика)
Направление:
01.03.02. Прикладная математика и информатика
Где читается:
Факультет компьютерных наук
Когда читается:
4-й курс, 1, 2 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для всех кампусов НИУ ВШЭ
Язык:
русский
Кредиты:
5
Контактные часы:
56
Программа дисциплины
Аннотация
Задача обработки звука, в частности человеческого голоса, представляет большой интерес в индустрии. В данном курсе будут рассмотрены в основном современные нейросетевые подходы для таких фундаментальных задач как распознавание и генерация голоса. Так же будут рассмотрены такие задачи как распознавание ключевых слов, голосовая биометрия, определение тишины, audio style transfer и генерация музыки.
Цель освоения дисциплины
- Понимать как физически устроен звук, его характеристики и разные цифровые представления
- Разбираться в современных подходах распознавания речи
- Уметь написать и обучить нейронную сеть для распознавания речи и детекции ключевых слов
Планируемые результаты обучения
- Знать про верификацию и идентификацию голоса
- Разбираться в современных подходах синтеза речи.
- Уметь написать и обучить нейронную сеть для синтеза голоса из текста
Содержание учебной дисциплины
- Цифровое представление звука
- Распознавание речи (ASR) I
- Распознавание речи (ASR) II
- Синтез голоса (Vocoders)
- Выделение отдельных источников звука (Source Separation) I
- Выделение отдельных источников звука (Source Separation) II
- Синтез голоса (TTS)
- Верификация и идентификация голоса I (Speaker Verification)
- Верификация и идентификация голоса II (Anti-Spoofing)
- Преобразование голоса (VC)
- Генерация музыки
- Гостевые лекции
Список литературы
Рекомендуемая основная литература
- Глубокое обучение - А.Гудфеллоу; А.Курвилль; И.Бенджио - ДМК Пресс - 9785970606186 - 2018 - русский - https://hse.alpinadigital.ru/document/19213 - Alpina - 19213
- Информационные технологии. Лабораторный практикум - Галиева А. И., Галиева Г. И., Дмитриев В. Г. - Издательство "Лань" - 978-5-507-53784-6 - 2026 - русский - https://e.lanbook.com/book/510274 - ЛАНЬ - 510274
Рекомендуемая дополнительная литература
- Синтез и обработка звука на PC - Деревских В. - Санкт-Петербург: БХВ-Петербург - 5-94157-085-6 - 2002 - русский - https://ibooks.ru/product/343974 - iBOOKS - 343974