Prog Academy
RU UA

Курс по подписке

PyTorch и глубокое обучение: от тензоров до трансформера

Научитесь строить, обучать и отлаживать нейронные сети — от тензора до трансформера

  • 10 модулей
  • 45+ практических заданий
  • Автоматическая проверка
  • На русском

Получить доступ к курсу

Курс по подписке · Обучение в своём темпе

О курсе

Что это за курс?

Продвинутый курс для тех, кто уже уверенно пишет на Python и хочет понимать глубокое обучение не на уровне «скопировал ноутбук», а на уровне «знаю, что происходит в каждой строке». Вы пройдёте путь от тензоров и autograd до свёрточных и рекуррентных сетей, механизма внимания и собственной маленькой языковой модели.

Каждую тему вы закрепляете кодом: строите модели на nn.Module, пишете цикл обучения, готовите данные через Dataset и DataLoader, боретесь с переобучением, а в конце собираете и обучаете символьную языковую модель. Это основа для работы с компьютерным зрением, текстами и другими задачами глубокого обучения.

Аудитория

Для кого этот курс?

  • Уверенно пишете на Python

    Пройдете путь от тензоров и autograd до сверточных и рекуррентных сетей и собственной маленькой языковой модели.

  • Знаете NumPy

    Перейдете от массивов к тензорам PyTorch и будете писать nn.Module, DataLoader и цикл обучения без ошибок в порядке шагов.

  • Хотите понять трансформер

    Сначала соберете softmax и внимание из тензорных операций, сверите их с PyTorch и дойдете до блока трансформера.

Сначала нужна подготовка

Курс опирается на знания, отмеченные ниже как обязательные.

Нужно знать

  • Уверенный Python (функции, списки, классы) и школьная математика — производная и матрицы объясняются по ходу.

    Подробнее
    • Очень желательно знать NumPy (массивы, формы, broadcasting) — например, по курсу «Числовые основы: NumPy для машинного обучения».
    • Ничего устанавливать не нужно: все задания, включая PyTorch, выполняются во встроенном редакторе.
    • Своё окружение или Google Colab понадобятся только для больших экспериментов — на GPU и реальных датасетах, — которых нет в заданиях курса.

Если этих знаний ещё нет — пройдите курсы по порядку:

  1. С нуля
  2. Обязательно Основы программирования на Python
  3. Желательно Числовые основы: NumPy для машинного обучения
  4. Этот курс PyTorch и глубокое обучение: от тензоров до трансформера

Результат

Чему вы научитесь

создавать и преобразовывать тензоры, понимать формы, dtype и устройства

объяснять, как autograd считает градиенты, и писать цикл обучения без ошибок в порядке шагов

строить модели на nn.Module, выбирать функцию потерь и оптимизатор

готовить данные через Dataset и DataLoader и делить их без утечки

проектировать CNN и заранее считать формы каждого слоя

работать с RNN, LSTM и GRU и семплировать из модели

бороться с переобучением: dropout, weight decay, batch norm, ранняя остановка, расписания learning rate

понимать внимание, multi-head attention, позиционное кодирование и блок трансформера

собрать и обучить символьную языковую модель

Формат

Как устроено обучение?

Каждый раздел чередует короткие объяснения с кодом: разобрали механизм — и сразу реализуете его на PyTorch во встроенном редакторе. Раздел заканчивается тестом на понимание.

  • Теория

    39 уроков с примерами

  • Практика в браузере

    45+ заданий с автоматической проверкой

  • Тесты

    10 тестов для самопроверки

  • Свой темп

    Онлайн на my.prog.academy, без установки программ

Чем этот курс отличается

Каждое практическое задание — это настоящий код PyTorch, который вы пишете и запускаете прямо в браузере: во встроенной среде уже есть PyTorch (CPU) и NumPy, а проверка на скрытых тестах автоматическая. Вы будете создавать тензоры, считать градиенты через autograd, писать собственные nn.Module, циклы обучения с оптимизаторами, DataLoader, свёрточные и рекуррентные сети, внимание и блок трансформера — и закончите курс языковой моделью, которую обучите сами. Там, где это раскрывает суть, вы сначала собираете механизм из тензорных операций (softmax, внимание, свёртку), а затем сверяете его с готовой функцией PyTorch. Тот, кто хоть раз посчитал внимание вручную, уже никогда не перепутает, по какому измерению делать softmax.

AI-помощник

AI-помощник рядом во время обучения

На страницах курса, уроков и заданий есть кнопка «Спросить AI». Помощник знает материалы именно этого курса и урок, на котором вы сейчас, поэтому отвечает по теме и показывает, в каких уроках об этом говорится.

  • Объяснит иначе

    Не поняли урок с первого раза — попросите объяснить проще или привести ещё один пример.

  • Поможет с заданием

    Застряли — подскажет, с чего начать, и поможет найти ошибку в вашем решении. Готового решения не даёт.

  • Найдёт нужную тему

    Спросите, где объясняли понятие, — и получите ссылки на нужные уроки курса.

  • Продолжит разговор

    Уточняйте без повторов: помощник помнит разговор, а недавние разговоры курса сохраняются.

Входит в каждый тариф оплаченной подписки — Basic и Premium. В Premium лимиты использования AI-помощника выше — им можно пользоваться активнее. Это помощник в обучении, а не генератор готовых ответов: он объясняет и подсказывает, а задания вы решаете сами.

Программа

Программа курса

10 модулей, 45+ практических заданий с автоматической проверкой и 10 тестов. Откройте модуль, чтобы увидеть все темы.

Раздел 1 — Тензоры 4 урока · 4 практики · 1 тест

Что значит обучить сеть и карта курса; тензор как основная структура данных PyTorch: создание, форма, dtype, операции и устройства

  • Теория Что значит «обучить нейронную сеть»: карта курса
  • Теория Тензор: создание, форма и тип данных
  • Практика Форма, количество элементов и dtype
  • Теория Операции с тензорами: индексация, reshape, broadcasting, stack и cat
  • Практика Reshape, view и транспонирование
  • Практика Broadcasting без циклов
  • Теория Устройства: CPU, GPU и.to()
  • Практика Куда переехали тензор и модель
  • Тест Тензоры
Раздел 2 — Autograd и градиенты 3 урока · 3 практики · 1 тест

Как PyTorch сам считает производные, что такое вычислительный граф и как из этого вырастает градиентный спуск

  • Теория Autograd: requires_grad и backward()
  • Практика Значение и градиент многочлена
  • Теория Вычислительный граф и цепное правило
  • Практика Граф, retain_grad и detach
  • Теория От.fit() к градиентному спуску
  • Практика Градиентный спуск для прямой
  • Тест Autograd
Раздел 3 — Модели: nn.Module 2 урока · 2 практики · 1 тест

Модель как класс: слои, параметры, прямой проход и функции активации

  • Теория Анатомия nn.Module
  • Практика Сколько параметров в сети
  • Теория Прямой проход: слои и функции активации
  • Практика Прямой проход двухслойной сети
  • Тест Nn.Module
Раздел 4 — Обучение: потери, оптимизаторы, цикл 4 урока · 6 практик · 1 тест

MSE и кросс-энтропия, SGD и Adam, канонический цикл обучения и режим оценки

  • Теория Функции потерь: MSE и кросс-энтропия
  • Практика Какая потеря и какая цель
  • Практика Кросс-энтропия из логитов
  • Теория Оптимизаторы: SGD, momentum и Adam
  • Практика Оптимизаторы и свой Adam
  • Теория Канонический цикл обучения
  • Практика Порядок шагов и его нарушения
  • Практика Что ломает неправильный порядок
  • Теория Режим eval и torch.no_grad()
  • Практика Eval, train и no_grad
  • Тест Цикл обучения
Раздел 5 — Данные: Dataset и DataLoader 3 урока · 3 практики · 1 тест

Как подать модели данные: собственный Dataset, батчи, перемешивание и вложенный цикл по эпохам

  • Теория Dataset: __len__ и __getitem__
  • Практика Dataset из скользящих окон
  • Теория DataLoader: батчи и перемешивание
  • Практика TensorDataset и DataLoader
  • Теория Вложенный цикл: эпохи и батчи
  • Практика Мини-батчевый SGD по эпохам
  • Тест Данные
Раздел 6 — Свёрточные сети 5 уроков · 7 практик · 1 тест

Зачем изображениям свёртки, как считать формы, пулинг, полная CNN и остаточные соединения ResNet

  • Теория Почему полносвязные сети плохо видят изображения
  • Практика Линейный слой против свёрточного
  • Теория Операция свёртки
  • Практика Размер выхода Conv2d
  • Практика Свёртка вручную и F.conv2d
  • Теория Пулинг и карты признаков
  • Практика Max и average pooling
  • Теория CNN от начала до конца
  • Практика Формы и параметры новой CNN
  • Практика Трассировка форм в CNN
  • Теория Современные архитектуры: ResNet и skip-соединения
  • Практика Затухание градиента и skip-соединения
  • Тест Свёрточные сети
Раздел 7 — Последовательности: RNN, LSTM, GRU 3 урока · 4 практики · 1 тест

Данные с порядком: скрытое состояние, ячейки с вентилями, обучение модели последовательностей и семплирование

  • Теория Последовательности и рекуррентная идея
  • Практика Прямой проход RNN
  • Теория LSTM и GRU
  • Практика Что брать из выхода LSTM
  • Практика Ячейка LSTM
  • Теория Обучение модели последовательностей и семплирование
  • Практика Температура и семплирование
  • Тест Последовательности
Раздел 8 — Реальные данные и регуляризация 6 уроков · 8 практик · 1 тест

Честное разбиение данных, переобучение, batch norm, dropout, weight decay, расписания learning rate и transfer learning

  • Теория Реальные данные: train, validation и test без утечки
  • Практика Нормализация без утечки
  • Теория Переобучение и разрыв между train и validation
  • Практика Диагноз по кривым потерь
  • Практика Ранняя остановка
  • Теория Batch normalization
  • Практика Nn.BatchNorm1d в train и eval
  • Теория Dropout и weight decay
  • Практика Dropout в train и eval
  • Теория Расписание learning rate
  • Практика Когда шагать расписанием
  • Практика Расписания learning rate
  • Теория Transfer learning: готовые модели
  • Практика Заморозить, заменить голову
  • Тест Данные и регуляризация
Раздел 9 — Внимание 5 уроков · 5 практик · 1 тест

Query, key, value, scaled dot-product attention, self-attention с маской, multi-head attention и позиционное кодирование

  • Теория Механизм внимания: query, key, value
  • Практика Внимание для одного запроса
  • Теория Масштабированное скалярное произведение
  • Практика Scaled dot-product attention
  • Теория Self-attention и каузальная маска
  • Практика Каузальная self-attention
  • Теория Multi-head attention
  • Практика Разбиение на головы
  • Теория Позиционное кодирование
  • Практика Синусоидальное кодирование
  • Тест Внимание
Раздел 10 — Трансформер и собственная языковая модель 4 урока · 4 практики · 1 тест

Блок трансформера, три архитектуры и символьная языковая модель от токенизатора до генерации

  • Теория Блок трансформера: residual, LayerNorm и feed-forward
  • Практика LayerNorm и feed-forward с residual
  • Теория Энкодер, декодер, энкодер-декодер
  • Практика Архитектура, головы и маска
  • Теория Языковая модель с нуля, ч. 1: корпус, токенизатор и контекстные окна
  • Практика Символьный токенизатор
  • Теория Языковая модель с нуля, ч. 2: MiniGPT, обучение и генерация
  • Практика Финальный проект: биграммная языковая модель
  • Тест Итоговый тест

Стек

Какие технологии используются?

  • Python
  • PyTorch

Код пишете и запускаете в браузере на платформе — устанавливать ничего не нужно.

Доступ

Как получить доступ?

  1. Оставьте заявку

    Заполните короткую форму на этой странице.

  2. Завершите регистрацию в Telegram

    После заявки перейдите в Telegram-бот Prog Academy — он пришлёт дальнейшие инструкции по доступу.

  3. Учитесь на платформе

    Уроки, практика и тесты — на my.prog.academy, в удобном для вас темпе.

Контакт

Начните обучение на платформе

Оставьте контакты — пришлём детали доступа к курсу «PyTorch и глубокое обучение: от тензоров до трансформера».

Другие курсы по подписке

Терминал Linux (bash)

Основы Linux

Командная строка с нуля: файлы, права, процессы, сеть, bash-скрипты и SSH — в терминале учебной Ubuntu.

13 модулей · 40+ практических заданий

Кибербезопасность с ИИ: защита от современных атак и безопасная работа с искусственным интеллектом

Защита от современных атак для нетехнических специалистов: фишинг, пароли и MFA, инциденты, дипфейки и безопасная работа с ИИ.

12 модулей · 30+ практических заданий

Частые вопросы о курсе

Что это за курс?
«PyTorch и глубокое обучение: от тензоров до трансформера» — онлайн-курс по подписке на учебной платформе Prog Academy. Научитесь строить, обучать и отлаживать нейронные сети — от тензора до трансформера. Продвинутый курс для тех, кто уже уверенно пишет на Python и хочет понимать глубокое обучение не на уровне «скопировал ноутбук», а на уровне «знаю, что происходит в каждой строке». Вы пройдёте путь от тензоров и autograd до свёрточных и рекуррентных сетей, механизма внимания и собственной маленькой языковой модели.

Для кого этот курс?
Продвинутый курс для тех, кто уже уверенно пишет на Python и хочет понимать глубокое обучение не на уровне «скопировал ноутбук», а на уровне «знаю, что происходит в каждой строке».

Какие знания нужны перед стартом?
Нужно: уверенный Python (функции, списки, классы) и школьная математика — производная и матрицы объясняются по ходу. Очень желательно знать NumPy (массивы, формы, broadcasting) — например, по курсу «Числовые основы: NumPy для машинного обучения». Ничего устанавливать не нужно: все задания, включая PyTorch, выполняются во встроенном редакторе. Своё окружение или Google Colab понадобятся только для больших экспериментов — на GPU и реальных датасетах, — которых нет в заданиях курса.

Какие технологии используются?
Python, PyTorch. Код пишете и запускаете прямо в браузере на платформе — устанавливать ничего не нужно.

Сколько модулей в курсе?
10 модулей: Тензоры; Autograd и градиенты; Модели: nn.Module; Обучение: потери, оптимизаторы, цикл; Данные: Dataset и DataLoader; Свёрточные сети; Последовательности: RNN, LSTM, GRU; Реальные данные и регуляризация; Внимание; Трансформер и собственная языковая модель. Практических заданий с автоматической проверкой — 45+, тестов — 10.

Как получить доступ?
Оставьте заявку на этой странице и завершите регистрацию в Telegram-боте Prog Academy — там вы получите дальнейшие инструкции по доступу. Обучение проходит на платформе my.prog.academy в своём темпе.

Входит ли курс в подписку?
Да. Курс входит в подписку на платформе Prog Academy: доступ ко всем курсам по подписке; ai-помощник по обучению в каждом курсе; все уроки, домашние задания и автоматическая проверка; новые курсы по подписке добавляются автоматически.

Не нашли ответ?

Оставьте вопрос — подскажем, подходит ли вам курс и с чего лучше начать.