2024/2025
NLP
Type:
Mago-Lego
Delivered by:
Big Data and Information Retrieval School
When:
3, 4 module
Open to:
students of one campus
Language:
English
ECTS credits:
3
Course Syllabus
Abstract
The course focuses on the basics of natural language processing (NLP), one of the key areas of artificial intelligence aimed at teaching computers to understand, analyze, and process text data. You will learn how NLP has developed rapidly in recent years, how statistical methods are being reincarnated in neural network approaches, and what tasks and concepts underlie modern text processing technologies.
During the course, you will learn in detail about advanced architectures such as transformers and the mechanism of attention, which have become the basis of most modern NLP models. In addition, you will study current tasks, approaches to their solution and master practical skills applicable in real projects.
Learning Objectives
- ● Освоить основные концепции и методы обработки естественного языка.
- ● Научиться применять современные архитектуры и модели для решения реальных задач NLP.
- ● Получить практические навыки работы с популярными фреймворками (PyTorch, TensorFlow).
- ● Понять, как масштабируемые модели, такие как трансформеры, изменили подходы к обработке текста.
Expected Learning Outcomes
- ● Будут понимать ключевые принципы работы NLP-моделей и их теоретические основы.
- ● Освоят основные методы, такие как word embeddings, sequence handling, language modeling, seq2seq, и трансформеры.
- ● Узнают о современных подходах, таких как Large Language Models и RLHF, и смогут применить их на практике.
Course Contents
- Words embeddings
- Sequence handling, text classification
- Language Modeling, Seq2seq
- Transformer and attention
- Large Language Models, RLHF
- Transformers Tricks, PEFT
Assessment Elements
- HW1: machine translation, перевод в одного языка на другой2 недели после 3й лекции
- HW2: обучить модель генерировать только негативные или только позитивные отзывы на основе RLHF
- Тест
Interim Assessment
- 2024/2025 4th module0.35 * HW1: machine translation, перевод в одного языка на другой + 0.35 * HW2: обучить модель генерировать только негативные или только позитивные отзывы на основе RLHF + 0.3 * Тест
