Prog Academy
RU UA

Курс за підпискою

PyTorch і глибоке навчання: від тензорів до трансформера

Навчіться будувати, навчати й налагоджувати нейронні мережі — від тензора до трансформера

  • 10 модулів
  • 45+ практичних завдань
  • Автоматична перевірка
  • Українською

Отримати доступ до курсу

Курс за підпискою · Навчання у власному темпі

Про курс

Що це за курс?

Просунутий курс для тих, хто вже впевнено пише на Python і хоче зрозуміти глибоке навчання не на рівні «скопіював ноутбук», а на рівні «знаю, що відбувається в кожному рядку». Ви пройдете шлях від тензорів і autograd до згорткових і рекурентних мереж, механізму уваги та власної маленької мовної моделі.

Кожну тему ви закріплюєте кодом: будуєте моделі на nn.Module, пишете цикл навчання, готуєте дані через Dataset і DataLoader, боретеся з перенавчанням, а наприкінці збираєте й навчаєте символьну мовну модель. Це основа для роботи з комп’ютерним зором, текстами та іншими задачами глибокого навчання.

Аудиторія

Для кого цей курс?

  • Впевнено пишете на Python

    Пройдете шлях від тензорів і autograd до згорткових і рекурентних мереж та власної маленької мовної моделі.

  • Знаєте NumPy

    Перейдете від масивів до тензорів PyTorch і писатимете nn.Module, DataLoader і цикл навчання без помилок у порядку кроків.

  • Хочете зрозуміти трансформер

    Спершу зберете softmax і увагу з тензорних операцій, звірите їх із PyTorch і дійдете до блоку трансформера.

Спершу потрібна підготовка

Курс спирається на знання, позначені нижче як обов’язкові.

Потрібно знати

  • Впевнений Python (функції, списки, класи) і шкільна математика — похідна та матриці пояснюються по ходу.

    Детальніше
    • Дуже бажано знати NumPy (масиви, форми, broadcasting) — наприклад, з курсу «Числові основи: NumPy для машинного навчання».
    • Встановлювати нічого не треба: усі завдання, з PyTorch включно, виконуються у вбудованому редакторі.
    • Власне середовище або Google Colab знадобляться лише для великих експериментів — на GPU й реальних датасетах — яких немає в завданнях курсу.

Якщо цих знань ще немає — пройдіть курси за порядком:

  1. З нуля
  2. Обов’язково Основи програмування на Python
  3. Бажано Числові основи: NumPy для машинного навчання
  4. Цей курс PyTorch і глибоке навчання: від тензорів до трансформера

Результат

Що ви навчитеся робити

створювати й перетворювати тензори, розуміти форми, dtype і пристрої

пояснювати, як autograd рахує градієнти, і писати цикл навчання без помилок у порядку кроків

будувати моделі на nn.Module, обирати функцію втрат і оптимізатор

готувати дані через Dataset і DataLoader та ділити їх без витоку

проєктувати CNN і рахувати форми кожного шару заздалегідь

працювати з RNN, LSTM і GRU та семплювати з моделі

боротися з перенавчанням: dropout, weight decay, batch norm, рання зупинка, розклади learning rate

розуміти увагу, multi-head attention, позиційне кодування та блок трансформера

зібрати й навчити символьну мовну модель

Формат

Як влаштоване навчання?

Кожен розділ чергує короткі пояснення з кодом: розібрали механізм — і одразу реалізуєте його на PyTorch у вбудованому редакторі. Розділ закінчується тестом на розуміння.

  • Теорія

    39 уроків з прикладами

  • Практика в браузері

    45+ завдань з автоматичною перевіркою

  • Тести

    10 тестів для самоперевірки

  • Власний темп

    Онлайн на my.prog.academy, без встановлення програм

Чим цей курс відрізняється

Кожне практичне завдання — це справжній код PyTorch, який ви пишете й запускаєте прямо в браузері: у вбудованому середовищі вже є PyTorch (CPU) і NumPy, а перевірка на прихованих тестах автоматична. Ви створюватимете тензори, рахуватимете градієнти через autograd, писатимете власні nn.Module, цикли навчання з оптимізаторами, DataLoader, згорткові й рекурентні мережі, увагу та блок трансформера — і завершите курс мовною моделлю, яку навчите самі. Там, де це відкриває суть, ви спершу збираєте механізм із тензорних операцій (softmax, увагу, згортку), а потім звіряєте його з готовою функцією PyTorch. Той, хто хоч раз порахував увагу вручну, вже ніколи не сплутає, по якому виміру робити softmax.

AI-помічник

AI-помічник поруч під час навчання

На сторінках курсу, уроків і завдань є кнопка «Запитати AI». Помічник знає матеріали саме цього курсу й урок, на якому ви зараз, тому відповідає по темі й показує, у яких уроках про це йдеться.

  • Пояснить інакше

    Не зрозуміли урок з першого разу — попросіть пояснити простіше або дати ще один приклад.

  • Допоможе із завданням

    Застрягли — підкаже, з чого почати, і допоможе знайти помилку у вашому рішенні. Готового рішення не дає.

  • Знайде потрібну тему

    Запитайте, де пояснювали поняття, — і отримаєте посилання на потрібні уроки курсу.

  • Продовжить розмову

    Уточнюйте без повторів: помічник пам’ятає розмову, а нещодавні розмови курсу зберігаються.

Входить у кожен тариф оплаченої підписки — Basic і Premium. У Premium ліміти використання AI-помічника вищі — ним можна користуватися активніше. Це помічник у навчанні, а не генератор готових відповідей: він пояснює й підказує, а завдання ви розв’язуєте самі.

Програма

Програма курсу

10 модулів, 45+ практичних завдань з автоматичною перевіркою і 10 тестів. Відкрийте модуль, щоб побачити всі теми.

Розділ 1 — Тензори 4 уроки · 4 практики · 1 тест

Що означає навчити мережу і карта курсу; тензор як основна структура даних PyTorch: створення, форма, dtype, операції й пристрої

  • Теорія Що означає «навчити нейронну мережу»: карта курсу
  • Теорія Тензор: створення, форма й тип даних
  • Практика Форма, кількість елементів і dtype
  • Теорія Операції з тензорами: індексація, reshape, broadcasting, stack і cat
  • Практика Reshape, view і транспонування
  • Практика Broadcasting без циклів
  • Теорія Пристрої: CPU, GPU і.to()
  • Практика Куди переїхали тензор і модель
  • Тест Тензори
Розділ 2 — Autograd і градієнти 3 уроки · 3 практики · 1 тест

Як PyTorch сам рахує похідні, що таке обчислювальний граф і як із цього виростає градієнтний спуск

  • Теорія Autograd: requires_grad і backward()
  • Практика Значення і градієнт многочлена
  • Теорія Обчислювальний граф і правило ланцюга
  • Практика Граф, retain_grad і detach
  • Теорія Від.fit() до градієнтного спуску
  • Практика Градієнтний спуск для прямої
  • Тест Autograd
Розділ 3 — Моделі: nn.Module 2 уроки · 2 практики · 1 тест

Модель як клас: шари, параметри, прямий прохід і функції активації

  • Теорія Анатомія nn.Module
  • Практика Скільки параметрів у мережі
  • Теорія Прямий прохід: шари та функції активації
  • Практика Прямий прохід двошарової мережі
  • Тест Nn.Module
Розділ 4 — Навчання: втрати, оптимізатори, цикл 4 уроки · 6 практик · 1 тест

MSE і крос-ентропія, SGD і Adam, канонічний цикл навчання та режим оцінки

  • Теорія Функції втрат: MSE і крос-ентропія
  • Практика Яка втрата і яка ціль
  • Практика Крос-ентропія з логітів
  • Теорія Оптимізатори: SGD, momentum і Adam
  • Практика Оптимізатори і власний Adam
  • Теорія Канонічний цикл навчання
  • Практика Порядок кроків і його порушення
  • Практика Що ламає неправильний порядок
  • Теорія Режим eval і torch.no_grad()
  • Практика Eval, train і no_grad
  • Тест Цикл навчання
Розділ 5 — Дані: Dataset і DataLoader 3 уроки · 3 практики · 1 тест

Як подати моделі дані: власний Dataset, батчі, перемішування й вкладений цикл по епохах

  • Теорія Dataset: __len__ і __getitem__
  • Практика Dataset із ковзних вікон
  • Теорія DataLoader: батчі та перемішування
  • Практика TensorDataset і DataLoader
  • Теорія Вкладений цикл: епохи й батчі
  • Практика Міні-батчевий SGD по епохах
  • Тест Дані
Розділ 6 — Згорткові мережі 5 уроків · 7 практик · 1 тест

Чому зображенням потрібні згортки, як рахувати форми, пулінг, повна CNN і залишкові з'єднання ResNet

  • Теорія Чому повнозв'язні мережі погано бачать зображення
  • Практика Лінійний шар проти згорткового
  • Теорія Операція згортки
  • Практика Розмір виходу Conv2d
  • Практика Згортка вручну і F.conv2d
  • Теорія Пулінг і карти ознак
  • Практика Max і average pooling
  • Теорія CNN від початку до кінця
  • Практика Форми й параметри нової CNN
  • Практика Трасування форм у CNN
  • Теорія Сучасні архітектури: ResNet і skip-з'єднання
  • Практика Згасання градієнта і skip-з'єднання
  • Тест Згорткові мережі
Розділ 7 — Послідовності: RNN, LSTM, GRU 3 уроки · 4 практики · 1 тест

Дані з порядком: прихований стан, вентильні клітинки, навчання моделі послідовностей і семплінг

  • Теорія Послідовності та рекурентна ідея
  • Практика Прямий прохід RNN
  • Теорія LSTM і GRU
  • Практика Що брати з виходу LSTM
  • Практика Клітинка LSTM
  • Теорія Навчання моделі послідовностей і семплінг
  • Практика Температура і семплінг
  • Тест Послідовності
Розділ 8 — Реальні дані та регуляризація 6 уроків · 8 практик · 1 тест

Чесне розбиття даних, перенавчання, batch norm, dropout, weight decay, розклади learning rate і transfer learning

  • Теорія Реальні дані: train, validation і test без витоку
  • Практика Нормалізація без витоку
  • Теорія Перенавчання і розрив між train та validation
  • Практика Діагноз за кривими втрат
  • Практика Рання зупинка
  • Теорія Batch normalization
  • Практика Nn.BatchNorm1d у train і eval
  • Теорія Dropout і weight decay
  • Практика Dropout у train і eval
  • Теорія Планування learning rate
  • Практика Коли крокувати розкладом
  • Практика Розклади learning rate
  • Теорія Transfer learning: готові моделі
  • Практика Заморозити, замінити голову
  • Тест Дані та регуляризація
Розділ 9 — Увага 5 уроків · 5 практик · 1 тест

Query, key, value, scaled dot-product attention, self-attention з маскою, multi-head attention і позиційне кодування

  • Теорія Механізм уваги: query, key, value
  • Практика Увага для одного запиту
  • Теорія Масштабований скалярний добуток
  • Практика Scaled dot-product attention
  • Теорія Self-attention і каузальна маска
  • Практика Каузальна self-attention
  • Теорія Multi-head attention
  • Практика Розбиття на голови
  • Теорія Позиційне кодування
  • Практика Синусоїдальне кодування
  • Тест Увага
Розділ 10 — Трансформер і власна мовна модель 4 уроки · 4 практики · 1 тест

Блок трансформера, три архітектури та символьна мовна модель від токенізатора до генерації

  • Теорія Блок трансформера: residual, LayerNorm і feed-forward
  • Практика LayerNorm і feed-forward із residual
  • Теорія Енкодер, декодер, енкодер-декодер
  • Практика Архітектура, голови й маска
  • Теорія Мовна модель з нуля, ч. 1: корпус, токенізатор і контекстні вікна
  • Практика Символьний токенізатор
  • Теорія Мовна модель з нуля, ч. 2: MiniGPT, навчання й генерація
  • Практика Фінальний проєкт: біграмна мовна модель
  • Тест Підсумковий тест

Стек

Які технології використовуються?

  • Python
  • PyTorch

Код пишете й запускаєте в браузері на платформі — встановлювати нічого не потрібно.

Доступ

Як отримати доступ?

  1. Залиште заявку

    Заповніть коротку форму на цій сторінці.

  2. Завершіть реєстрацію в Telegram

    Після заявки перейдіть у Telegram-бот Prog Academy — він надішле подальші інструкції щодо доступу.

  3. Навчайтеся на платформі

    Уроки, практика й тести — на my.prog.academy, у зручному для вас темпі.

Контакт

Почніть навчання на платформі

Залиште контакти — надішлемо деталі доступу до курсу «PyTorch і глибоке навчання: від тензорів до трансформера».

Інші курси за підпискою

Термінал Linux (bash)

Основи Linux

Командний рядок з нуля: файли, права, процеси, мережа, bash-скрипти і SSH — у терміналі навчальної Ubuntu.

13 модулів · 40+ практичних завдань

JavaScript (Node.js)

Як працює веб: від URL до HTTPS, API і безпеки

Шлях запиту від URL до готової сторінки: DNS, TCP, TLS, HTTP, кеш, cookies, API і захист вебзастосунків.

11 модулів · 30+ практичних завдань

Часті питання про курс

Що це за курс?
«PyTorch і глибоке навчання: від тензорів до трансформера» — онлайн-курс за підпискою на навчальній платформі Prog Academy. Навчіться будувати, навчати й налагоджувати нейронні мережі — від тензора до трансформера. Просунутий курс для тих, хто вже впевнено пише на Python і хоче зрозуміти глибоке навчання не на рівні «скопіював ноутбук», а на рівні «знаю, що відбувається в кожному рядку». Ви пройдете шлях від тензорів і autograd до згорткових і рекурентних мереж, механізму уваги та власної маленької мовної моделі.

Для кого цей курс?
Просунутий курс для тих, хто вже впевнено пише на Python і хоче зрозуміти глибоке навчання не на рівні «скопіював ноутбук», а на рівні «знаю, що відбувається в кожному рядку».

Які знання потрібні перед стартом?
Потрібно: впевнений Python (функції, списки, класи) і шкільна математика — похідна та матриці пояснюються по ходу. Дуже бажано знати NumPy (масиви, форми, broadcasting) — наприклад, з курсу «Числові основи: NumPy для машинного навчання». Встановлювати нічого не треба: усі завдання, з PyTorch включно, виконуються у вбудованому редакторі. Власне середовище або Google Colab знадобляться лише для великих експериментів — на GPU й реальних датасетах — яких немає в завданнях курсу.

Які технології використовуються?
Python, PyTorch. Код пишете й запускаєте прямо в браузері на платформі — встановлювати нічого не потрібно.

Скільки модулів містить курс?
10 модулів: Тензори; Autograd і градієнти; Моделі: nn.Module; Навчання: втрати, оптимізатори, цикл; Дані: Dataset і DataLoader; Згорткові мережі; Послідовності: RNN, LSTM, GRU; Реальні дані та регуляризація; Увага; Трансформер і власна мовна модель. Практичних завдань з автоматичною перевіркою — 45+, тестів — 10.

Як отримати доступ?
Залиште заявку на цій сторінці й завершіть реєстрацію в Telegram-боті Prog Academy — там ви отримаєте подальші інструкції щодо доступу. Навчання проходить на платформі my.prog.academy у власному темпі.

Чи входить курс у підписку?
Так. Курс входить у підписку на платформі Prog Academy: доступ до всіх курсів за підпискою; ai-помічник з навчання в кожному курсі; усі уроки, домашні завдання та автоматична перевірка; нові курси за підпискою додаються автоматично.

Не знайшли відповідь?

Залиште запитання — підкажемо, чи підходить вам курс і з чого краще почати.