Бакалавриат
2026/2027
Методы предобучения без учителя
Статус:
Курс по выбору (Прикладная математика и информатика)
Где читается:
Факультет компьютерных наук
Когда читается:
4-й курс, 1, 2 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Кредиты:
5
Контактные часы:
56
Программа дисциплины
Аннотация
Self-supervised learning (SSL) — это широко используемый подход в машинном обучении, который требует минимальных знаний о домене данных и использует данные без дорогостоящей разметки для обучения полезных представлений. Полученные представления затем легко адаптируются для различных конечных задач, что позволяет создавать универсальные базовые модели.
В ходе курса вы получите прочные знания о современных методах предобучения нейронных сетей, узнаете основные идеи и концепции, теорию, лежащую в их основе, и их связь с классическими алгоритмами снижения размерности. Курс охватит ключевые аспекты контрастивных и генеративных подходов в предобучении. Вы реализуете и обучите некоторые из самых актуальных методов, а также примените их к конечным задачам, таким как классификация, сегментация, обнаружение аномалий и трансферное обучение. Мы также обсудим открытые исследовательские вопросы, такие как dimensional collapse и task-agnostic оценка качества представлений.
Хотя основное внимание будет уделено работе с изображениями, мы также коснемся таких доменов, как графы и тексты, с использованием графовых нейронных сетей и трансформеров. Кроме того, мы изучим практические применения в области медицинских снимков. Разберемся как предобучать модели на изображениях компьютерной томографии и рентгенографии, а затем адаптировать их для сегментации и классификации патологий, а также для обнаружения аномалий.
Курс включает 2 практических задания и практический проект. Помимо желания разобраться в SSL, для успешного прохождения курса необходимы
- Знание основ линейной алгебры, математического анализа и теории вероятностей
- Базовые знания машинного обучения и концепций глубокого обучения
- Python + PyTorch