Компьютерное зрение: технологии и методы глубокого обучения

Профиль аудитории:

• курс предназначен для специалистов, исследователей, разработчиков и инженеров, которые хотят углубить свои знания в области компьютерного зрения и глубокого обучения. Аудитория может включать студентов старших курсов технических направлений, а также профессионалов, работающих в областях, связанных с анализом данных, машинным обучением и искусственным интеллектом

Предварительные требования:

• базовые знания в программировании на Python
• знание основ машинного обучения и нейросетевых алгоритмов приветствуется, но не является обязательным
• ожидается, что слушатели имеют опыт работы с основными библиотеками Python (NumPy, pandas) и знакомы с принципами работы с данными

По окончании курса слушатели смогут:

• создавать и обучать нейросети для задач классификации, детекции и сегментации изображений
• применять методы Transfer Learning для повышения производительности моделей
• работать с фреймворками PyTorch и TensorFlow для разработки решений в области компьютерного зрения
• оптимизировать модели с помощью методов квантизации и прунинга
• экспортировать модели в формат ONNX для использования на различных платформах
• применять аугментацию данных для улучшения качества обучения

Модуль 1: Введение в CV и Deep Learning: от перцептрона до трансформера

• Что такое Computer Vision (CV) и почему это важно: Разбор реальных кейсов.
• Краткая история Deep Learning: От перцептрона до трансформеров (AlexNet, VGG, ResNet, Unet, ViT).
• Обзор фреймворков обучения нейросетей: PyTorch, TensorFlow, Keras, JAX.
• Экосистема Deep Learning: Знакомство с Kaggle и Hugging Face.

Модуль 2: Основы PyTorch: ваш первый классификатор

• Настройка среды разработки: Google Colab.
• PyTorch: Тензоры, операции, граф вычислений.
• Архитектура нейросети: Слои (Linear, Conv2d), функции активации, нормализация (LayerNorm, GroupNorm, BatchNorm), функции потерь.
• Обзор и реализация архитектур в CV: Перцептрон, VGG, ResNet.
• Аугментация изображений: Применение трансформаций (повороты, шум, вырезание) с помощью библиотеки Albumentations.
• Полный цикл обучения: Dataset, DataLoader, цикл обучения, оптимизаторы (SGD, Adam, AdaBelief).
• Практикум: Написание и обучение с нуля нейросетей для классификации изображений.

Модуль 3: Детекция, сегментация, распознавание лиц

• Transfer Learning: Как использовать обученные нейросети для своих задач (fine-tuning и feature extraction).
• Ключевые метрики в CV: Accuracy, Precision, Recall, F1-score, IoU — что и когда применять.
• Детекция объектов: Обзор архитектур (YOLO, Faster R-CNN) и концепция якорей (anchors).
• Сегментация изображений: Семантическая (U-Net для медицины) и инстанс-сегментация (Mask R-CNN).
• Распознавание лиц: Верификация на основе векторов (embeddings).
• Практикум: Запуск модели YOLO для детекции объектов, сегментация медицинских снимков, удаление фона и верификация лиц.

Модуль 4: Творческий AI: Автокодировщики, VAE, GAN, Super Resolution, Diffusion

• Автоэнкодеры (AE): Сжатие информации в скрытое пространство.
• Вариационные автоэнкодеры (VAE): Как научить модель генерировать новые данные.
• Состязательные сети (GAN): Битва генератора и дискриминатора.
• Диффузионные модели: От шума к шедевру (DDPM, Stable Diffusion), магия текстовых промптов.
• Практикум: Реализация плавного перехода между цифрами с помощью VAE, запуск Real-ESRGAN, Stable Diffusion.

Модуль 5: Инструментарий DL разработчика: от ноутбука к продакшену

• MLFlow & Hydra: Трекинг экспериментов и управление конфигурациями.
• Оптимизация моделей: Квантизация и прунинг для ускорения инференса.
• Формат ONNX: Как запустить PyTorch-модель где угодно (на C++, JS или в мобильном приложении).
• Практикум: Обернуть модели из прошлых модулей в ONNX, замерить производительность до и после квантизации и залогировать результаты в MLFlow.
• Итоговый тест.