Бакалавриат 2024/2025

Нейронные сети в машинном обучении

Статус: Курс по выбору (Программная инженерия)

Кто читает: Базовая кафедра ПАО Сбербанк «Финансовые технологии и анализ данных»

Когда читается: 3-й курс, 1, 2 модуль

Охват аудитории: для своего кампуса

Преподаватели: Батраков Юрий Алексеевич, Евдокимов Егор Анатольевич

Язык: русский

Программа дисциплины

Аннотация

Дисциплина "Нейронные сети в машинном обучении" предназначена для ознакомления слушателей с фундаментальными концепциями и практическими аспектами нейронных сетей, включая архитектуры, алгоритмы обучения и методы оптимизации. Курс направлен на формирование навыков проектирования, реализации и применения нейронных сетей для решения различных задач, таких как классификация изображений, распознавание объектов, обработка естественного языка и др.

Цель освоения дисциплины

• Формирование знаний, умений и навыков проектирования, реализации и применения нейронных сетей для решения различных задач в области искусственного интеллекта.

Планируемые результаты обучения

• Владеть знаниями о фундаментальных концепциях нейронных сетей, включая метод обратного распространения ошибки, оптимизаторы и инициализацию;
• Уметь проектировать и реализовывать различные архитектуры нейронных сетей, такие как свёрточные сети, рекуррентные сети и трансформеры;
• Владеть навыками применения методов оптимизации, регуляризации и переноса обучения для улучшения качества нейронных сетей;
• Уметь использовать библиотеки и фреймворки для реализации нейронных сетей, такие как PyTorch;
• Владеть знаниями о методах интерпретации моделей и оценки их качества;
• Уметь применять нейронные сети для решения задач компьютерного зрения, обработки естественного языка и др.

Содержание учебной дисциплины

• Бэкпроп, оптимизаторы, PyTorch
• Инициализация, регуляризация, best practices
• Conv layers, Pooling, Архитектуры: vgg, ResNet, Mobile Net
• Перенос обучения. Prooning, quantization. Дистиляция знаний. trt, onnx. Интерпретация моделей, Shapley
• Dense prediction, UNet
• Object detection, метрики
• Word Embeddings (TF-IDF, word2vec), Tokenizers, Lemma, Stop words, Rnn
• Attention, Transformer, Translator
• BERT, adapters, LoRa, QLoRa, NER
• LLM
• GenAI: GAN, VAE, диффузии
• ViT, DETR, CLIP, Swin, SAM
• Representation learning
• RecSys. Collaborative filtering, ALS

Элементы контроля

• Домашняя работа 1
  1. Задание по освоению базового синтаксиса PyTorch, построению простых моделей для задач классификации и регрессии, использование регуляризации (Dropout, BatchNorm).
• Экзамен
• Домашняя работа 2
  Практическое задание по сегментации изображений и оптимизации производительности модели.
• Домашняя работа 3
  Практическое задание по работе с текстами: классификация, извлечение сущностей (NER), перевод.
• Домашняя работа 4
  Задание по генеративным моделям: реализация и обучение GAN (Generative Adversarial Networks) и VAE (Variational Autoencoder).
• Домашняя работа 5
  Задание по обучению представлений: использование методов извлечения признаков, работа с embeddings и предобученными моделями.

Промежуточная аттестация

• 2024/2025 2nd module
  0.12 * Домашняя работа 1 + 0.12 * Домашняя работа 2 + 0.12 * Домашняя работа 3 + 0.12 * Домашняя работа 4 + 0.12 * Домашняя работа 5 + 0.4 * Экзамен

Список литературы

Рекомендуемая основная литература

• Глубокое обучение - 978-5-496-02536-2 - Николенко С., Кадурин А., Архангельская Е. - 2019 - Санкт-Петербург: Питер - https://ibooks.ru/bookshelf/356955 - 356955 - iBOOKS
• Глубокое обучение, Гудфеллоу, Я., 2018

Рекомендуемая дополнительная литература

• Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., 2018

Авторы

• Яковлева Илона Александровна
• Фиалкова Мария Алексеевна