Разработка интеллектуальных iOS приложений

Бакалавриат 2025/2026

Статус: Курс по выбору (Программная инженерия)

Кто читает: Департамент программной инженерии

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 3, 4 модуль

Охват аудитории: для своего кампуса

Преподаватели: Александров Дмитрий Владимирович

Язык: русский

Кредиты: 5

Контактные часы: 60

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс посвящен разработке мобильных приложений с использованием машинного обучения в экосистеме Apple. Для реализации ML-функционала в iOS рассматриваются такие фреймворки как Core ML, Create ML, Vision, Natural Language, Sound Analysis и другие. Изучаются практические задачи: обучение моделей классификации изображений, детекция объектов, обработка видео и естественного языка, анализ звука, прогнозирование на табличных данных, оптимизация моделей для мобильных устройств, а также безопасное хранение данных и работа с ARKit, RealityKit и LiDAR. Курс подойдет разработчикам, желающим внедрять ML в iOS-приложения с использованием инструментов Apple.

Цель освоения дисциплины

Ознакомиться с экосистемой машинного обучения Apple, приобрести навыки интеграции готовых моделей Core ML, обучения собственных моделей с использованием Create ML, а также реализации ML-функций в iOS-приложениях с применением Vision, Natural Language, Sound Analysis и других фреймворков.

Планируемые результаты обучения

1. Знание инструментов Apple для машинного обучения: Core ML, Create ML, Vision, Natural Language, Sound Analysis.
2. Умение интегрировать предобученные модели Core ML в iOS-приложения.
3. Опыт обучения и тестирования кастомных моделей классификации изображений и звуков с использованием Create ML.
4. Навыки обработки изображений и видео с Vision Framework, включая детекцию объектов и распознавание текста.
5. Умение реализовать анализ естественного языка (NLP) на устройстве с помощью Natural Language Framework.
6. Опыт работы со звуком: классификация аудио в реальном времени с использованием Sound Analysis.
7. Навыки построения регрессионных моделей для прогнозирования на табличных данных.
8. Понимание методов оптимизации моделей для мобильных устройств (квантизация, прунинг).
9. Опыт интеграции ML с ARKit, RealityKit и LiDAR для приложений дополненной реальности.
10. Умение использовать Metal и Vulkan для высокопроизводительной обработки медиа в сочетании с Core ML.

Содержание учебной дисциплины

Знакомство с экосистемой Apple ML. Обзор Core ML, Create ML, Vision, NLP. Настройка среды разработки
Введение в Core ML: архитектура, версии, интеграция готовых моделей
Интеграция готовой Core ML-модели в приложение (пример: классификация изображений)
Обучение модели классификации изображений с использованием Create ML
Детекция объектов с Vision Framework: лица, QR-коды, текст (Live Text)
NLP в iOS с Natural Language Framework: токенизация, анализ тональности
Работа со звуком: классификация аудио в реальном времени с Sound Analysis
Прогнозирование на табличных данных: обучение и интеграция регрессионных моделей
Оптимизация моделей для мобильных устройств: квантизация, прунинг, выбор устройства выполнения
Безопасное хранение данных в ML-приложениях: шифрование моделей и локальное выполнение
Обработка видеопотока в реальном времени с Core ML, AVFoundation, CoreImage и Metal
Интеграция ML с ARKit, RealityKit и LiDAR для дополненной реальности
Мультиплатформа для Rich Media: использование Metal и Vulkan с Core ML для высокопроизводительной графики

Элементы контроля

АК3М
АК3М – активность в 3-м модуле и АК4М – активность в 4-м модуле, включают практические работы (задания) в компьютерном классе.
АК4М
АК3М – активность в 3-м модуле и АК4М – активность в 4-м модуле, включают практические работы (задания) в компьютерном классе.
ДЗ3М
ДЗ3М – домашние задания в 3-м модуле
ДЗ4М
ДЗ4М – домашние задания в 4-м модуле
ПР
ПР – итоговый индивидуальный / командный проект (защищается в конце 4-го модуля)
ДОК3М
ДОК3М – очный доклад в 3-м модуле по предложенной тематике
ДОК4М
ДОК4М – очный доклад в 4-м модуле по предложенной тематике

Промежуточная аттестация

2025/2026 4th module
0.15 * АК3М + 0.15 * АК4М + 0.2 * ДЗ3М + 0.2 * ДЗ4М + 0.05 * ДОК3М + 0.05 * ДОК4М + 0.2 * ПР

Список литературы

Авторы

Лебедев Сергей Аркадьевич
Александров Дмитрий Владимирович
Буцкая Евгения Александровна

Программа дисциплины