PyTorch и глубокое обучение: от тензоров до трансформера

Что значит обучить сеть и карта курса; тензор как основная структура данных PyTorch: создание, форма, dtype, операции и устройства

• Теория Что значит «обучить нейронную сеть»: карта курса
• Теория Тензор: создание, форма и тип данных
• Практика Форма, количество элементов и dtype
• Теория Операции с тензорами: индексация, reshape, broadcasting, stack и cat
• Практика Reshape, view и транспонирование
• Практика Broadcasting без циклов
• Теория Устройства: CPU, GPU и .to()
• Практика Куда переехали тензор и модель
• Тест Тензоры

Как PyTorch сам считает производные, что такое вычислительный граф и как из этого вырастает градиентный спуск

• Теория Autograd: requires_grad и backward()
• Практика Значение и градиент многочлена
• Теория Вычислительный граф и цепное правило
• Практика Граф, retain_grad и detach
• Теория От .fit() к градиентному спуску
• Практика Градиентный спуск для прямой
• Тест Autograd

Модель как класс: слои, параметры, прямой проход и функции активации

• Теория Анатомия nn.Module
• Практика Сколько параметров в сети
• Теория Прямой проход: слои и функции активации
• Практика Прямой проход двухслойной сети
• Тест Nn.Module

MSE и кросс-энтропия, SGD и Adam, канонический цикл обучения и режим оценки

• Теория Функции потерь: MSE и кросс-энтропия
• Практика Какая потеря и какая цель
• Практика Кросс-энтропия из логитов
• Теория Оптимизаторы: SGD, momentum и Adam
• Практика Оптимизаторы и свой Adam
• Теория Канонический цикл обучения
• Практика Порядок шагов и его нарушения
• Практика Что ломает неправильный порядок
• Теория Режим eval и torch.no_grad()
• Практика Eval, train и no_grad
• Тест Цикл обучения

Как подать модели данные: собственный Dataset, батчи, перемешивание и вложенный цикл по эпохам

• Теория Dataset: __len__ и __getitem__
• Практика Dataset из скользящих окон
• Теория DataLoader: батчи и перемешивание
• Практика TensorDataset и DataLoader
• Теория Вложенный цикл: эпохи и батчи
• Практика Мини-батчевый SGD по эпохам
• Тест Данные

Зачем изображениям свёртки, как считать формы, пулинг, полная CNN и остаточные соединения ResNet

• Теория Почему полносвязные сети плохо видят изображения
• Практика Линейный слой против свёрточного
• Теория Операция свёртки
• Практика Размер выхода Conv2d
• Практика Свёртка вручную и F.conv2d
• Теория Пулинг и карты признаков
• Практика Max и average pooling
• Теория CNN от начала до конца
• Практика Формы и параметры новой CNN
• Практика Трассировка форм в CNN
• Теория Современные архитектуры: ResNet и skip-соединения
• Практика Затухание градиента и skip-соединения
• Тест Свёрточные сети

Данные с порядком: скрытое состояние, ячейки с вентилями, обучение модели последовательностей и семплирование

• Теория Последовательности и рекуррентная идея
• Практика Прямой проход RNN
• Теория LSTM и GRU
• Практика Что брать из выхода LSTM
• Практика Ячейка LSTM
• Теория Обучение модели последовательностей и семплирование
• Практика Температура и семплирование
• Тест Последовательности

Честное разбиение данных, переобучение, batch norm, dropout, weight decay, расписания learning rate и transfer learning

• Теория Реальные данные: train, validation и test без утечки
• Практика Нормализация без утечки
• Теория Переобучение и разрыв между train и validation
• Практика Диагноз по кривым потерь
• Практика Ранняя остановка
• Теория Batch normalization
• Практика Nn.BatchNorm1d в train и eval
• Теория Dropout и weight decay
• Практика Dropout в train и eval
• Теория Расписание learning rate
• Практика Когда шагать расписанием
• Практика Расписания learning rate
• Теория Transfer learning: готовые модели
• Практика Заморозить, заменить голову
• Тест Данные и регуляризация

Query, key, value, scaled dot-product attention, self-attention с маской, multi-head attention и позиционное кодирование

• Теория Механизм внимания: query, key, value
• Практика Внимание для одного запроса
• Теория Масштабированное скалярное произведение
• Практика Scaled dot-product attention
• Теория Self-attention и каузальная маска
• Практика Каузальная self-attention
• Теория Multi-head attention
• Практика Разбиение на головы
• Теория Позиционное кодирование
• Практика Синусоидальное кодирование
• Тест Внимание

Блок трансформера, три архитектуры и символьная языковая модель от токенизатора до генерации

• Теория Блок трансформера: residual, LayerNorm и feed-forward
• Практика LayerNorm и feed-forward с residual
• Теория Энкодер, декодер, энкодер-декодер
• Практика Архитектура, головы и маска
• Теория Языковая модель с нуля, ч. 1: корпус, токенизатор и контекстные окна
• Практика Символьный токенизатор
• Теория Языковая модель с нуля, ч. 2: MiniGPT, обучение и генерация
• Практика Финальный проект: биграммная языковая модель
• Тест Итоговый тест