Магистратура
2025/2026
Сбор данных с Web-scraping и API для социально-научных исследований
Статус:
Курс по выбору (Аналитика данных и прикладная статистика / Data Analytics and Social Statistics)
Когда читается:
1-й курс, 4 модуль
Охват аудитории:
для своего кампуса
Преподаватели:
Капустина Лика Владимировна
Язык:
английский
Course Syllabus
Abstract
Курс знакомит студентов с технологией web-scraping и предполагает работу с основными библиотеками для сбора данных с html-страниц (BeautfiulSoup, Requests, Selenium), включает в себя работу с API, работу с динамическими страницами (включая работу с отдельными элементами страницы) посредством Selenium, работу с API и библиотеками для получения данных из социальных сетей и мессенджеров. Каждый блок занятий будет посвящен работе с определенным способом получения данных со страниц веб-сайтов, социальных сетей и мессенджеров. В начале студенты научатся обрабатывать данные .json, работать с html-разметкой страниц, вспомнят основы работы с библиотекой pandas. Далее, на каждом из занятий, студенты будут отрабатывать навыки сбора данных на примере открытого API ВКонтакте, библиотеки Pyrogram для сбора данных из Telegram, соберут открытые судебные данные с сайта Московского Городского Суда с помощью Selenium и отработают свои навыки на других источниках. Домашние задания по проекту предполагают продолжение работы на семинаре. Итоговый проект предполагает самостоятельно написанный студентом парсер с использованием requests, Selenium или сторонней библиотеки для сбора данных для сайта или социальной сети по выбору студента и дескриптивный анализ полученных данных.В результате освоения курса студенты познакомятся с языком html, освоят практические навыки web-scraping’а данных с html-страниц, работы с API социальных сетей и библиотек, написанных для получения данных из мессенджеров, напишут несколько работающих скраперов на языке программирования Python. Регулярная практика навыков web-scraping’а позволит им писать новые скрипты для сбора и предобработки данных из открытых источников и в будущем самостоятельно собирать данные для социально–научных и консалтинговых исследований.Курс рассчитан на студентов, успешно освоивших курс “Введение в программирование в Python”.