Prog Academy
RU UA

Курс за підпискою

PyTorch і глибоке навчання: від тензорів до трансформера

Навчіться будувати, навчати й налагоджувати нейронні мережі — від тензора до трансформера

  • 10 модулів
  • 45+ практичних завдань
  • Автоматична перевірка
  • Українською

Отримати доступ до курсу

Курс за підпискою · Навчання у власному темпі · Без дзвінків і консультацій

Про курс

Що це за курс?

Просунутий курс для тих, хто вже впевнено пише на Python і хоче зрозуміти глибоке навчання не на рівні «скопіював ноутбук», а на рівні «знаю, що відбувається в кожному рядку». Ви пройдете шлях від тензорів і autograd до згорткових і рекурентних мереж, механізму уваги та власної маленької мовної моделі.

Кожну тему ви закріплюєте кодом: будуєте моделі на nn.Module, пишете цикл навчання, готуєте дані через Dataset і DataLoader, боретеся з перенавчанням, а наприкінці збираєте й навчаєте символьну мовну модель. Це основа для роботи з комп’ютерним зором, текстами та іншими задачами глибокого навчання.

Аудиторія

Для кого цей курс?

  • Впевнено пишете на Python

    Пройдете шлях від тензорів і autograd до згорткових і рекурентних мереж та власної маленької мовної моделі.

  • Знаєте NumPy

    Перейдете від масивів до тензорів PyTorch і писатимете nn.Module, DataLoader і цикл навчання без помилок у порядку кроків.

  • Хочете зрозуміти трансформер

    Спершу зберете softmax і увагу з тензорних операцій, звірите їх із PyTorch і дійдете до блоку трансформера.

Спершу потрібна підготовка

Курс спирається на знання, позначені нижче як обов’язкові.

Потрібно знати

  • Впевнений Python (функції, списки, класи) і шкільна математика — похідна та матриці пояснюються по ходу.

    Детальніше
    • Дуже бажано знати NumPy (масиви, форми, broadcasting) — наприклад, з курсу «Числові основи: NumPy для машинного навчання».
    • Встановлювати нічого не треба: усі завдання, з PyTorch включно, виконуються у вбудованому редакторі.
    • Власне середовище або Google Colab знадобляться лише для великих експериментів — на GPU й реальних датасетах — яких немає в завданнях курсу.

Якщо цих знань ще немає — пройдіть курси за порядком:

  1. З нуля
  2. Обов’язково Основи програмування на Python
  3. Бажано Числові основи: NumPy для машинного навчання
  4. Цей курс PyTorch і глибоке навчання: від тензорів до трансформера

Результат

Що ви навчитеся робити

створювати й перетворювати тензори, розуміти форми, dtype і пристрої

пояснювати, як autograd рахує градієнти, і писати цикл навчання без помилок у порядку кроків

будувати моделі на nn.Module, обирати функцію втрат і оптимізатор

готувати дані через Dataset і DataLoader та ділити їх без витоку

проєктувати CNN і рахувати форми кожного шару заздалегідь

працювати з RNN, LSTM і GRU та семплювати з моделі

боротися з перенавчанням: dropout, weight decay, batch norm, рання зупинка, розклади learning rate

розуміти увагу, multi-head attention, позиційне кодування та блок трансформера

зібрати й навчити символьну мовну модель

Формат

Як влаштоване навчання?

Кожен розділ чергує короткі пояснення з кодом: розібрали механізм — і одразу реалізуєте його на PyTorch у вбудованому редакторі. Розділ закінчується тестом на розуміння.

  • Теорія

    39 уроків з прикладами

  • Практика в браузері

    45+ завдань з автоматичною перевіркою

  • Тести

    10 тестів для самоперевірки

  • Власний темп

    Онлайн на my.prog.academy, без встановлення програм

Чим цей курс відрізняється

Кожне практичне завдання — це справжній код PyTorch, який ви пишете й запускаєте прямо в браузері: у вбудованому середовищі вже є PyTorch (CPU) і NumPy, а перевірка на прихованих тестах автоматична. Ви створюватимете тензори, рахуватимете градієнти через autograd, писатимете власні nn.Module, цикли навчання з оптимізаторами, DataLoader, згорткові й рекурентні мережі, увагу та блок трансформера — і завершите курс мовною моделлю, яку навчите самі. Там, де це відкриває суть, ви спершу збираєте механізм із тензорних операцій (softmax, увагу, згортку), а потім звіряєте його з готовою функцією PyTorch. Той, хто хоч раз порахував увагу вручну, вже ніколи не сплутає, по якому виміру робити softmax.

Платформа Prog Academy

Більше, ніж доступ до курсу

Курс проходить на платформі Prog Academy — разом із ним ви отримуєте AI-помічника й інструменти для пошуку першої роботи в IT.

Навчання

90% практики

Ви вчитеся, виконуючи завдання: кожну нову тему одразу застосовуєте на практиці, а не лише читаєте теорію. Завдання перевіряються автоматично, просто в браузері.

AI-помічник з навчання

Ви не залишаєтеся наодинці з матеріалом

Щось незрозуміло або застрягли на завданні — запитайте просто в уроці. Помічник пояснить тему простішими словами, відповість на питання, допоможе розібратися в умові завдання й підкаже наступний крок, знайде потрібне в матеріалах курсу. Він знає, який урок ви проходите, і пам’ятає розмову.

Кар’єра

  • Сертифікат після завершення курсу

    Успішно пройшли курс — отримуєте сертифікат і в один клік додаєте його в профіль LinkedIn.

  • Конструктор резюме

    Резюме англійською та українською — просто на платформі. Ваші курси й сертифікати додаються в нього в кілька кліків.

  • База вакансій

    Junior-вакансії та стажування в одному місці — з добіркою під курси, які ви проходите.

Уся платформа — в одному акаунті

  • Усі ваші курси
  • Прогрес по кожному курсу
  • Навчання у власному темпі
  • Нічого не треба встановлювати

Програма

Програма курсу

10 модулів, 45+ практичних завдань з автоматичною перевіркою і 10 тестів. Відкрийте модуль, щоб побачити всі теми.

Розділ 1 — Тензори 4 уроки · 4 практики · 1 тест

Що означає навчити мережу і карта курсу; тензор як основна структура даних PyTorch: створення, форма, dtype, операції й пристрої

  • Теорія Що означає «навчити нейронну мережу»: карта курсу
  • Теорія Тензор: створення, форма й тип даних
  • Практика Форма, кількість елементів і dtype
  • Теорія Операції з тензорами: індексація, reshape, broadcasting, stack і cat
  • Практика Reshape, view і транспонування
  • Практика Broadcasting без циклів
  • Теорія Пристрої: CPU, GPU і .to()
  • Практика Куди переїхали тензор і модель
  • Тест Тензори
Розділ 2 — Autograd і градієнти 3 уроки · 3 практики · 1 тест

Як PyTorch сам рахує похідні, що таке обчислювальний граф і як із цього виростає градієнтний спуск

  • Теорія Autograd: requires_grad і backward()
  • Практика Значення і градієнт многочлена
  • Теорія Обчислювальний граф і правило ланцюга
  • Практика Граф, retain_grad і detach
  • Теорія Від .fit() до градієнтного спуску
  • Практика Градієнтний спуск для прямої
  • Тест Autograd
Розділ 3 — Моделі: nn.Module 2 уроки · 2 практики · 1 тест

Модель як клас: шари, параметри, прямий прохід і функції активації

  • Теорія Анатомія nn.Module
  • Практика Скільки параметрів у мережі
  • Теорія Прямий прохід: шари та функції активації
  • Практика Прямий прохід двошарової мережі
  • Тест Nn.Module
Розділ 4 — Навчання: втрати, оптимізатори, цикл 4 уроки · 6 практик · 1 тест

MSE і крос-ентропія, SGD і Adam, канонічний цикл навчання та режим оцінки

  • Теорія Функції втрат: MSE і крос-ентропія
  • Практика Яка втрата і яка ціль
  • Практика Крос-ентропія з логітів
  • Теорія Оптимізатори: SGD, momentum і Adam
  • Практика Оптимізатори і власний Adam
  • Теорія Канонічний цикл навчання
  • Практика Порядок кроків і його порушення
  • Практика Що ламає неправильний порядок
  • Теорія Режим eval і torch.no_grad()
  • Практика Eval, train і no_grad
  • Тест Цикл навчання
Розділ 5 — Дані: Dataset і DataLoader 3 уроки · 3 практики · 1 тест

Як подати моделі дані: власний Dataset, батчі, перемішування й вкладений цикл по епохах

  • Теорія Dataset: __len__ і __getitem__
  • Практика Dataset із ковзних вікон
  • Теорія DataLoader: батчі та перемішування
  • Практика TensorDataset і DataLoader
  • Теорія Вкладений цикл: епохи й батчі
  • Практика Міні-батчевий SGD по епохах
  • Тест Дані
Розділ 6 — Згорткові мережі 5 уроків · 7 практик · 1 тест

Чому зображенням потрібні згортки, як рахувати форми, пулінг, повна CNN і залишкові з'єднання ResNet

  • Теорія Чому повнозв'язні мережі погано бачать зображення
  • Практика Лінійний шар проти згорткового
  • Теорія Операція згортки
  • Практика Розмір виходу Conv2d
  • Практика Згортка вручну і F.conv2d
  • Теорія Пулінг і карти ознак
  • Практика Max і average pooling
  • Теорія CNN від початку до кінця
  • Практика Форми й параметри нової CNN
  • Практика Трасування форм у CNN
  • Теорія Сучасні архітектури: ResNet і skip-з'єднання
  • Практика Згасання градієнта і skip-з'єднання
  • Тест Згорткові мережі
Розділ 7 — Послідовності: RNN, LSTM, GRU 3 уроки · 4 практики · 1 тест

Дані з порядком: прихований стан, вентильні клітинки, навчання моделі послідовностей і семплінг

  • Теорія Послідовності та рекурентна ідея
  • Практика Прямий прохід RNN
  • Теорія LSTM і GRU
  • Практика Що брати з виходу LSTM
  • Практика Клітинка LSTM
  • Теорія Навчання моделі послідовностей і семплінг
  • Практика Температура і семплінг
  • Тест Послідовності
Розділ 8 — Реальні дані та регуляризація 6 уроків · 8 практик · 1 тест

Чесне розбиття даних, перенавчання, batch norm, dropout, weight decay, розклади learning rate і transfer learning

  • Теорія Реальні дані: train, validation і test без витоку
  • Практика Нормалізація без витоку
  • Теорія Перенавчання і розрив між train та validation
  • Практика Діагноз за кривими втрат
  • Практика Рання зупинка
  • Теорія Batch normalization
  • Практика Nn.BatchNorm1d у train і eval
  • Теорія Dropout і weight decay
  • Практика Dropout у train і eval
  • Теорія Планування learning rate
  • Практика Коли крокувати розкладом
  • Практика Розклади learning rate
  • Теорія Transfer learning: готові моделі
  • Практика Заморозити, замінити голову
  • Тест Дані та регуляризація
Розділ 9 — Увага 5 уроків · 5 практик · 1 тест

Query, key, value, scaled dot-product attention, self-attention з маскою, multi-head attention і позиційне кодування

  • Теорія Механізм уваги: query, key, value
  • Практика Увага для одного запиту
  • Теорія Масштабований скалярний добуток
  • Практика Scaled dot-product attention
  • Теорія Self-attention і каузальна маска
  • Практика Каузальна self-attention
  • Теорія Multi-head attention
  • Практика Розбиття на голови
  • Теорія Позиційне кодування
  • Практика Синусоїдальне кодування
  • Тест Увага
Розділ 10 — Трансформер і власна мовна модель 4 уроки · 4 практики · 1 тест

Блок трансформера, три архітектури та символьна мовна модель від токенізатора до генерації

  • Теорія Блок трансформера: residual, LayerNorm і feed-forward
  • Практика LayerNorm і feed-forward із residual
  • Теорія Енкодер, декодер, енкодер-декодер
  • Практика Архітектура, голови й маска
  • Теорія Мовна модель з нуля, ч. 1: корпус, токенізатор і контекстні вікна
  • Практика Символьний токенізатор
  • Теорія Мовна модель з нуля, ч. 2: MiniGPT, навчання й генерація
  • Практика Фінальний проєкт: біграмна мовна модель
  • Тест Підсумковий тест

Стек

Які технології використовуються?

  • Python
  • PyTorch

Код пишете й запускаєте в браузері на платформі — встановлювати нічого не потрібно.

Доступ

Як отримати доступ?

  1. Заповніть форму

    Коротка форма на цій сторінці — без дзвінків і консультацій.

  2. Завершіть реєстрацію в Telegram

    Після форми перейдіть у Telegram-бот Prog Academy — він надішле подальші інструкції щодо доступу.

  3. Навчайтеся на платформі

    Уроки, практика й тести — на my.prog.academy, у зручному для вас темпі.

Контакт

Почніть навчання на платформі

Залиште контакти — надішлемо деталі доступу до курсу «PyTorch і глибоке навчання: від тензорів до трансформера». Без дзвінків і консультацій.

Інші курси за підпискою

Часті питання про курс

Що це за курс?
«PyTorch і глибоке навчання: від тензорів до трансформера» — онлайн-курс за підпискою на навчальній платформі Prog Academy. Навчіться будувати, навчати й налагоджувати нейронні мережі — від тензора до трансформера. Просунутий курс для тих, хто вже впевнено пише на Python і хоче зрозуміти глибоке навчання не на рівні «скопіював ноутбук», а на рівні «знаю, що відбувається в кожному рядку». Ви пройдете шлях від тензорів і autograd до згорткових і рекурентних мереж, механізму уваги та власної маленької мовної моделі.

Для кого цей курс?
Просунутий курс для тих, хто вже впевнено пише на Python і хоче зрозуміти глибоке навчання не на рівні «скопіював ноутбук», а на рівні «знаю, що відбувається в кожному рядку».

Які знання потрібні перед стартом?
Потрібно: впевнений Python (функції, списки, класи) і шкільна математика — похідна та матриці пояснюються по ходу. Дуже бажано знати NumPy (масиви, форми, broadcasting) — наприклад, з курсу «Числові основи: NumPy для машинного навчання». Встановлювати нічого не треба: усі завдання, з PyTorch включно, виконуються у вбудованому редакторі. Власне середовище або Google Colab знадобляться лише для великих експериментів — на GPU й реальних датасетах — яких немає в завданнях курсу.

Які технології використовуються?
Python, PyTorch. Код пишете й запускаєте прямо в браузері на платформі — встановлювати нічого не потрібно.

Скільки модулів містить курс?
10 модулів: Тензори; Autograd і градієнти; Моделі: nn.Module; Навчання: втрати, оптимізатори, цикл; Дані: Dataset і DataLoader; Згорткові мережі; Послідовності: RNN, LSTM, GRU; Реальні дані та регуляризація; Увага; Трансформер і власна мовна модель. Практичних завдань з автоматичною перевіркою — 45+, тестів — 10.

Як отримати доступ?
Заповніть форму на цій сторінці й завершіть реєстрацію в Telegram-боті Prog Academy — там ви отримаєте подальші інструкції щодо доступу. Навчання проходить на платформі my.prog.academy у власному темпі.

Чи входить курс у підписку?
Так. Курс входить у підписку на платформі Prog Academy: доступ до всіх курсів за підпискою; ai-помічник з навчання в кожному курсі; усі уроки, домашні завдання та автоматична перевірка; нові курси за підпискою додаються автоматично.

Не знайшли відповідь?

Залиште запитання — підкажемо, чи підходить вам курс і з чого краще почати.