Нейросетевые методы обработки и улучшения изображений мангиNeural network methods for manga image processing andenhancement

Диссертация посвящена разработке нейросетевых методов обработки и улучшения изображений манги, прежде всего автоматической и полуавтоматической колоризации страниц и панелей. Работа рассматривает ограничения современных методов, связанные с недостатком качественных парных данных, различиями между синтетическими и реальными черно-белыми изображениями, а также особенностями самих страниц манги: выраженной линейной структурой, текстурными и тоновыми областями, текстовыми элементами и панельной организацией. В исследовании предложен комплекс методов и наборов данных для этой задачи. Во-первых, разработаны подходы к обучению моделей на синтетических черно-белых изображениях и адаптации к реальным данным. Во-вторых, создан парный набор данных, включающий настоящие черно-белые и цветные изображения манги, что позволяет более корректно оценивать качество моделей в условиях, близких к реальному использованию. В-третьих, предложены методы обработки страниц на уровне отдельных панелей, учитывающие их структурные и визуальные особенности. В-четвертых, отдельная часть работы посвящена колоризации фотографий страниц манги, в том числе в приложениях дополненной реальности. Для этого подготовлены данные и проведены эксперименты по оценке качества. Полученные результаты показывают, что качество колоризации манги зависит не только от выбранной модели, но и от состава обучающих данных, способа получения черно-белых изображений и близости экспериментальных условий к реальному использованию. Специализированные наборы данных, адаптация к реальным изображениям и обработка страниц на уровне панелей позволяют сделать методы более применимыми на практике. Результаты работы могут быть использованы при цифровой обработке графических материалов, разработке инструментов для художников и подготовке цветных версий черно-белых страниц манги.