Бакалавриат
2025/2026
Методы предобучения без учителя
Статус:
Курс по выбору (Прикладная математика и информатика)
Когда читается:
4-й курс, 1, 2 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Программа дисциплины
Аннотация
Self-supervised learning (SSL) — это широко используемый подход в машинном обучении, который требует минимальных знаний о домене данных и использует данные без дорогостоящей разметки для обучения полезных представлений. Полученные представления затем легко адаптируются для различных конечных задач, что позволяет создавать универсальные базовые модели.В ходе курса вы получите прочные знания о современных методах предобучения нейронных сетей, узнаете основные идеи и концепции, теорию, лежащую в их основе, и их связь с классическими алгоритмами снижения размерности. Курс охватит ключевые аспекты контрастных и генеративных подходов в предобучении. Вы реализуете и обучите некоторые из самых актуальных методов, а также примените их к конечным задачам, таким как классификация, сегментация, обнаружение аномалий и трансферное обучение. Мы также обсудим открытые исследовательские вопросы, такие как dimensional collapse и task-agnostic оценка качества представлений.Хотя основное внимание будет уделено работе с изображениями, мы также коснемся таких доменов, как графы и тексты, с использованием графовых нейронных сетей и трансформеров. Кроме того, мы изучим практические применения в области медицинских снимков. Разберемся как предобучать модели на изображениях компьютерной томографии и рентгенографии, а затем адаптировать их для сегментации и классификации патологий, а также для обнаружения аномалий.Курс включает 2-3 практических задания и экзамен. Помимо желания разобраться в SSL, для успешного прохождения курса необходимы - Знание основ линейной алгебры, математического анализа и теории вероятностей- Базовые знания машинного обучения и концепций глубокого обучения- Python + PyTorch