Агрегация, очистка и парсинг данных

2026/2027

ID 1130770

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Охват аудитории: для своего кампуса

Преподаватели: Бурова Маргарита Борисовна

Язык: русский

Кредиты: 3

Контактные часы: 28

Дополнительные материалы в LMS Задать вопрос

Аннотация

Учебная дисциплина «Агрегация, очистка и парсинг данных» предоставляет студентам комплексные знания и навыки по сбору, обработке и хранению данных из различных источников, включая веб-страницы, социальные сети и базы данных. Студенты научатся использовать язык программирования Python и специализированные библиотеки для выгрузки данных, их очистки и структурирования. Особое внимание уделяется работе с текстовыми данными, извлечению информации из веб-страниц с помощью парсинга HTML и взаимодействию с API.

Цель освоения дисциплины

Освоить типологию данных и этапы жизненного цикла данных.
Научиться получать данные из файлов, API и веб‑страниц с соблюдением этики и безопасности.
Овладеть первичной обработкой и очисткой табличных и текстовых данных, в т.ч. разбором вложенных структур JSON/XML.
Научиться выполнять группировки, агрегаты и соединения наборов данных.

Планируемые результаты обучения

Понимать структуру HTML-страниц и использовать CSS-селекторы для поиска элементов.
Извлекать данные с веб-страниц с помощью requests и BeautifulSoup, включая обработку пагинации.
Сохранять собранные данные в CSV/JSON с соблюдением правовых и этических ограничений.
Разрабатывать парсеры, устойчивые к изменениям структуры веб-страниц.
Собирать данные с динамических страниц с помощью инструментов автоматизации браузера.
Получать данные через официальные API с учётом пагинации, квот и ограничений запросов.
Автоматизировать регулярный сбор данных с журналированием, обработкой ошибок и контролем изменений.
Приводить разнородные данные к единым типам и форматам.
Выявлять и исправлять ошибки форматирования, кодировок и текстовых значений.
Выявлять одномерные и многомерные выбросы, выбирать подходящие методы их обработки.
Анализировать механизмы возникновения пропусков и применять методы их заполнения.
Приводить текстовые наименования к единому каноническому виду.
Выявлять опечатки и различные варианты написания с помощью правил и методов строкового сходства.
Выявлять дубликаты и связывать записи об одних и тех же сущностях из разных источников.
Объединять данные в согласованные записи и загружать результаты в базу данных.