Основы NLP

2026/2027

ID 1152534

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 2 модуль

Охват аудитории: для своего кампуса

Преподаватели: Бурлова Альбина Сергеевна

Язык: русский

Кредиты: 3

Контактные часы: 40

Дополнительные материалы в LMS Задать вопрос

Аннотация

Дисциплина посвящена основам обработки естественного языка (NLP) и современным методам анализа текстовых данных. Курс охватывает полный цикл работы с текстом: от аудита корпуса, предобработки и токенизации до векторных представлений, анализа структуры корпуса и семантического поиска. Курс исследует как классические интерпретируемые методы (TF-IDF, линейные модели), так и нейросетевые подходы: энкодеры для классификации и регрессии по тексту, извлечение информации, современные предобученные трансформеры. Особый акцент сделан на задачах, характерных для аналитической работы: преобразовании неструктурированного текста в данные, семантическом поиске с переранжированием и использовании больших языковых моделей как инструмента разметки и анализа текста. Отдельное внимание на курсе уделяется работе с библиотекой Hugging Face: будет запуск, поиск и тонкая настройка моделей. Как результат, студент получит возможность научиться собирать полноценный NLP-пайплайн - от обработки данных до оценки качества, стоимости и скорости решения.

Цель освоения дисциплины

Сформировать у студентов системное представление об основных задачах, методах и моделях в области обработки естественного языка и научить применять их для анализа текстовых данных. Цель курса - дать глубокое понимание принципов работы с текстовыми данными, от фундаментальных статистических концепций до современных предобученных моделей. Студенты научатся применять, дообучать и критически оценивать модели для решения практических задач анализа текста с учётом качества, стоимости и ограничений каждого подхода.

Планируемые результаты обучения

Студент сможет объяснять специфику текстовых данных и применять полный пайплайн их подготовки: аудит корпуса (дубликаты, утечки, корректные разбиения), нормализация, токенизация (включая subword-подходы), лемматизация.
Студент сможет различать и выбирать подходящие методы векторизации текста: Bag-of-Words, TF-IDF, плотные эмбеддинги слов (Word2Vec, GloVe, FastText) и эмбеддинги предложений - с учётом языка, домена и стоимости решения.
Студент сможет анализировать структуру неразмеченного корпуса методами unsupervised анализа: кластеризация и тематическое моделирование (LDA, BERTopic) с интерпретацией полученных тем.
Студент сможет применять классические алгоритмы (Наивный Байес, Логистическая регрессия) и нейросетевые архитектуры (CNN, RNN/LSTM) для решения задач классификации и регрессии по тексту.
Решать задачи извлечения информации, включая последовательную разметку (POS-теггинг, NER), используя статистические (HMM, CRF), нейросетевые и zero-shot подходы, и преобразовывать результаты в структурированные данные.
Понимать принципы языкового моделирования и генерации текста: n-граммные модели и перплексию, архитектуру Encoder-Decoder и механизм внимания, стратегии декодирования и ограничения автоматических метрик качества генерации.
Понимать концепцию “transfer learning” в NLP и применять предобученные энкодерные модели (BERT и современные аналоги) для решения целевых задач (fine-tuning, feature extraction).
Строить и оценивать системы семантического поиска: лексический поиск (BM25), поиск по эмбеддингам (bi-encoder), переранжирование (cross-encoder), а также познакомятся с метриками качества поиска (Recall@k, MRR, nDCG).
Использовать большие языковые модели как инструмент анализа текста: zero-shot и few-shot классификация, автоматическая разметка с валидацией на эталонных данных, оценка качества и стоимости решения.

Содержание учебной дисциплины

Текст как данные: аудит корпуса и предобработка
Разреженные представления и интерпретируемые бейзлайны
Векторные представления слов и subword-токенизация
Представления предложений и структура корпуса
Нейросетевые энкодеры текста
Извлечение информации из текста
Современные энкодерные трансформеры и передача знаний
Семантический поиск и переранжирование
Основы генеративного NLP: языковое моделирование, Seq2Seq и механизм внимания
LLM в анализе текстовых данных

Элементы контроля

Домашнее задание 1.
Классический текстовый бейзлайн. Построение воспроизводимого решения задачи классификации или регрессии по тексту: подготовка данных, разреженные представления, интерпретируемые модели, анализ ошибок.
Домашнее задание 2.
Эмбеддинги и структура корпуса. Исследование неразмеченного корпуса текстов: векторные представления, кластеризация, тематическое моделирование, извлечение сущностей.
Домашнее задание 3.
Семантическая близость текстов. Соревнование на Kaggle по классификации пар текстов: от лексического бейзлайна к эмбеддингам предложений и переранжированию.

Промежуточная аттестация

2026/2027 2nd module
0.3 * ДЗ1 + 0.3 * ДЗ2 + 0.4 * ДЗ3; максимум = 10 баллов

Список литературы

Авторы

Бурлова Альбина Сергеевна

Программа дисциплины