Бакалавриат
2024/2025
Технологии глубокого обучения и больших языковых моделей для задач обработки текстов
Статус:
Курс по выбору (Бизнес-информатика)
Кто читает:
Департамент бизнес-информатики
Когда читается:
4-й курс, 3 модуль
Охват аудитории:
для своего кампуса
Преподаватели:
Макрушин Сергей Вячеславович
Язык:
русский
Программа дисциплины
Аннотация
В рамках курса студенты изучат технологии обработки тестов на естественном языке, от классических проходов до передовых технологий обработки текста на основе искусственного интеллекта, изучат современные нейросетевые модели, такие как BERT и GPT. Студенты освоят ключевые навыки создания интеллектуальных систем анализа текста, научатся конструировать эффективные промпты, программно использовать, разворачивать и дообучать собственные большие языковые модели и применять их в прикладных бизнес-задачах.
Цель освоения дисциплины
- В рамках курса студенты должны изучить технологии обработки тестов на естественном языке, от классических проходов до передовых технологий обработки текста на основе искусственного интеллекта, изучат современные нейросетевые модели, такие как BERT и GPT. Студенты освоят ключевые навыки создания интеллектуальных систем анализа текста, научатся конструировать эффективные промпты, программно использовать, разворачивать и дообучать собственные большие языковые модели и применять их в прикладных бизнес-задачах.
Планируемые результаты обучения
- Применяет основные принципы NLP, векторного представления и языкового моделирования.
- Применяет принципы глубокого обучения применительно к задачам NLP.
- Применяет архитектуры рекуррентных нейронных сетей в NLP.
- Применяет модели на основе BERT в решении задач NLP.
- Применяет архитектуры построения чат-ботов.
- Применяет модели из фреймворка Hugging Face.
- Применяет большие языковые модели для решения бизнес-задач и задач обработки текста.
- Применяет корректные метрики качества в задачах NLP.
- Применяет продвинутые практики формирование промптов и цепочек запросов к LLM.
- Применяет продвинутые методы работы с LLM.
Содержание учебной дисциплины
- Введение в NLP: языковое моделирование, tf-idf
- Введение в глубокое обучение в NLP, word2vec
- Рекуррентные нейронные сети
- Механизм внимания, трансформеры, BERT
- Чат-боты, обучение с подкреплением
- Инфраструктура Hugging face и NLP модели
- Большие языковые модели (LLM)
- Метрики качества в NLP
- Подготовка промптов, langchain, RAG
- Продвинутые техники работы с LLM
Элементы контроля
- Групповой проектВ мини-группах решаются проектные задания на создание программных решений задач для NLP
- Экзамен
- Активность на семинарах
Промежуточная аттестация
- 2024/2025 3rd module0.1 * Активность на семинарах + 0.4 * Групповой проект + 0.5 * Экзамен
Список литературы
Рекомендуемая основная литература
- 9781800206571 - Serg Masís - Interpretable Machine Learning with Python : Learn to Build Interpretable High-performance Models with Hands-on Real-world Examples - 2021 - Packt Publishing - https://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2901980 - nlebk - 2901980
- 9781838827724 - Antonio Gulli; Amita Kapoor; Sujit Pal - Deep Learning with TensorFlow 2 and Keras : Regression, ConvNets, GANs, RNNs, NLP, and More with TensorFlow 2 and the Keras API, 2nd Edition - 2019 - Packt Publishing - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2339879 - nlebk - 2339879
- 9781839216077 - Artasanchez, Alberto; Joshi, Prateek - Artificial Intelligence with Python : Your Complete Guide to Building Intelligent Apps Using Python 3.x and TensorFlow 2, 2nd Edition - 2020 - Packt Publishing - http://search.ebscohost.com/login.aspx?direct=true&db=nlebk&AN=2366457 - nlebk - 2366457
- Alblawi, A. S. (2018). Big Data and Learning Analytics in Higher Education: Demystifying Variety, Acquisition, Storage, NLP and Analytics.
- Aman Kedia, & Mayank Rasu. (2020). Hands-On Python Natural Language Processing : Explore Tools and Techniques to Analyze and Process Text with a View to Building Real-world NLP Applications. Packt Publishing.
- Data Science в действии : пять реальных проектов Python, Апельцин, Л., 2023
- Deep learning : how the mind overrides experience, Ohlsson, S., 2011
- Deep learning, Goodfellow, I., 2016
- Explainable AI recipes : implement solutions to model explainability and interpretability with Python, Mishra, P., 2023
- Hellmann, S. (2015). Integrating Natural Language Processing (NLP) and Language Resources Using Linked Data.
- Integrating deep learning algorithms to overcome challenges in big data analytics, , 2022
- Pandas for everyone : Python data analysis, Chen, D. Y., 2023
- Productionizing AI : how to deliver AI B2B solutions with cloud and Python, Walsh, B., 2023
- Python 3, Прохоренок, Н. А., 2016
- Python 3. Самое необходимое — 2-е изд., перераб. и доп. - 978-5-9775-3994-4 - Прохоренок Н. А., Дронов В. А. - 2018 - Санкт-Петербург: БХВ-Петербург - https://ibooks.ru/bookshelf/386515 - 386515 - iBOOKS
- Python crash course : a hands-on, project-based introduction to programming, Matthes, E., 2023
- Python для сложных задач: наука о данных и машинное обучение : пер. с англ., Плас, Дж. Вандер, 2019
- Python для финансистов. - 978-5-4461-2250-9 - Хилпиш Ив - 2023 - Санкт-Петербург: Питер - https://ibooks.ru/bookshelf/390132 - 390132 - iBOOKS
- Python. Исчерпывающее руководство. - 978-5-4461-1956-1 - Бизли Дэвид - 2023 - Санкт-Петербург: Питер - https://ibooks.ru/bookshelf/386795 - 386795 - iBOOKS
- The Little Learner: чудесное машинное обучение, Фридман, Д. П., 2024
- Time series algorithms recipes : implement machine learning and deep learning techniques with Python, , 2023
- Uday Kamath, John Liu, & James Whitaker. (2019). Deep Learning for NLP and Speech Recognition. Springer.
- Yu, H. Q. (2019). Mining symptom and disease web data with NLP and Open Linked Data. https://doi.org/10.11159/mvml19.108
- Анализ данных : учебник для вузов, , 2024
- Вероятностное машинное обучение : введение, Мэрфи, К. П., 2023
- Искусственный интеллект на службе бизнеса : как машинное прогнозирование помогает принимать решения, Агравал, А., 2019
- Как Alibaba использует искусственный интеллект в бизнесе, Сетевое взаимодействие и анализ данных, пер. с кит. Кирилл Батыгин, 359 с., Цзэн, М., 2022
- Машинное обучение : наука и искусство построения алгоритмов, которые извлекают знания из данных, Флах, П., 2015
- Машинное обучение : портфолио реальных проектов, Григорьев, А., 2023
- Машинное обучение в финансах : учебник для магистратуры, , 2024
- Машинное обучение для абсолютных новичков : вводный курс, изложенный простым языком, Теобальд, О., 2024
Рекомендуемая дополнительная литература
- Derivatives analytics with Python : data analysis, models, simulation, calibration and hedging, Hilpisch, Y. J., 2015
- Pro Deep Learning with TensorFlow 2.0 : a mathematical approach to advanced artificial intelligence in Python, Pattanayak, S., 2023
- Python : исчерпывающее руководство, Бизли, Д. М., 2023
- Python distilled, Beazley, D. M., 2022
- Python для data science, Васильев, Ю., 2023
- Машинное обучение без лишних слов, Бурков, А., 2020