Подготовка данных с pandas: от грязного файла к данным для модели

Зачем готовить данные перед анализом и путь данных в курсе; Series и DataFrame, создание таблиц из словарей и записей, read_csv с нестандартными параметрами, выбор и переименование столбцов

• Теория Зачем чистить данные: от сырой выгрузки к модели
• Теория Зачем pandas: таблица как объект Python
• Практика DataFrame из JSON
• Теория read_csv: разделители, заголовки, пропуски
• Практика Выгрузка без заголовка
• Теория Столбцы: выбор, переименование, чистые названия
• Практика Чистые названия столбцов
• Практика Признаки и целевая переменная
• Тест DataFrame и загрузка данных

Первый взгляд на новые данные: форма, типы, заполненность, описательная статистика, распределения категорий и чек-лист качества

• Теория Первый взгляд: shape, head, info, dtypes
• Практика Профиль столбцов
• Теория Описательная статистика и распределения
• Практика Статистика числовых столбцов
• Практика Доли категорий
• Теория Чек-лист качества данных
• Практика Сканер качества данных
• Тест Обзор набора данных

loc и iloc, булевы маски с несколькими условиями, isin и between, пропуски в сравнениях, сортировка по нескольким ключам

• Теория loc и iloc: метки и позиции
• Практика Loc или iloc — что именно будет выбрано
• Практика Loc против iloc
• Теория Булевы маски: условия, isin, between, query
• Практика Фильтр каталога
• Практика Какие заказы проверить
• Теория Сортировка: несколько ключей, пропуски, наибольшие значения
• Практика Сортировка каталога и топ по рейтингу
• Тест Выбор и фильтрация

Как выглядят пропуски в pandas, как их посчитать, когда удалять строки и столбцы, чем и как заполнять — в том числе по группам и во временных рядах

• Теория Пропуски: как выглядят и как их посчитать
• Практика Отчёт о пропусках
• Теория Удалить или заполнить: dropna и fillna
• Практика Сколько строк оставит dropna
• Практика Правила удаления
• Практика Заполнение медианой и модой
• Теория Заполнение по группам и во времени
• Практика Чем заполнить пропуск
• Практика Медиана отдела
• Практика Пропуски в показаниях датчиков
• Тест Пропущенные значения

Преобразование типов и to_numeric с errors, nullable-типы и категории, очистка текста через .str, регулярные выражения, поиск и удаление дубликатов

• Теория Типы данных: to_numeric, astype, nullable-типы, категории
• Практика Диагноз типов по info()
• Практика Цены с символами
• Практика Целые, булевы и категории
• Теория Очистка текста: аксессор .str и регулярные выражения
• Практика Одно название города
• Практика Коды из сообщений
• Теория Дубликаты: точные и «почти одинаковые»
• Практика Клиенты без повторов
• Тест Типы, текст и дубликаты

to_datetime с явным форматом и errors='coerce', аксессор .dt, разница дат в группах, resample и периоды

• Теория to_datetime: разбор дат без сюрпризов
• Практика Разбор дат и дни недели
• Теория Признаки из дат: .dt, разницы, группы
• Практика Признаки из времени заказа
• Теория Группировка по времени: resample и периоды
• Практика Продажи по месяцам
• Тест Даты и время

Новые столбцы без циклов: assign, np.where, map, clip; когда apply уместен, а когда нет; groupby с именованными агрегатами и transform; pivot_table и melt

• Теория Новые столбцы без циклов: assign, np.where, map
• Практика Сумма, скидка, купон
• Практика Стоимость доставки
• Теория groupby: разделить, применить, объединить
• Практика Статистика отделов
• Практика Доля в сумме клиента
• Теория Изменение формы: pivot_table и melt
• Практика Сводная таблица продаж
• Практика Из широкой таблицы в длинную
• Тест Преобразование и агрегация

concat для частей одной таблицы, merge по ключу и четыре типа соединений, проверка ключей через validate и сверка источников через indicator

• Теория concat: собрать части в одну таблицу
• Практика Склеить выгрузки
• Теория merge: соединение таблиц по ключу
• Практика Продажи по странам
• Теория Проверки при слиянии: validate и indicator
• Практика Сколько строк даст merge
• Практика Безопасный справочник цен
• Практика Сверка склада
• Тест Объединение таблиц

Порядковое кодирование и one-hot, одинаковые столбцы для train и test, min-max и стандартизация без утечки данных

• Теория Категории в числа: порядковое кодирование и one-hot
• Практика Как закодировать признак
• Практика Порядковые коды
• Практика One-hot через get_dummies
• Практика Одинаковые столбцы для train и test
• Теория Масштабирование: min-max, стандартизация и утечка данных
• Практика Min-max масштабирование
• Практика Стандартизация без утечки
• Тест Кодирование и масштабирование

Портрет целевой переменной и баланс классов, воспроизводимое и стратифицированное разбиение на train и test, массивы X и y с проверками

• Теория От таблицы к X и y: баланс классов и разбиение на train/test
• Практика Портрет классов
• Практика Воспроизводимое разбиение
• Практика X и y для модели
• Тест От таблицы к модели

Новые признаки из имеющихся: отношения и безопасное деление, условия через np.select, интервалы через pd.cut, признаки из текста

• Теория Новые признаки: отношения, условия, интервалы, текст
• Практика ИМТ и маржа
• Практика Возрастные группы через pd.cut
• Практика Ценовые сегменты через np.select
• Практика Признаки из отзывов
• Тест Инженерия признаков

Выбросы по правилу IQR, обрезка по квантилям, удаление бесполезных признаков и корреляция с целевой переменной

• Теория Выбросы: найти и укротить
• Практика Границы IQR и что делать с выбросом
• Практика Выбросы по IQR
• Практика Обрезка по квантилям
• Теория Отбор признаков: что убрать, что оставить
• Практика Убрать бесполезные признаки
• Практика Какие признаки связаны с целевой переменной
• Тест Выбросы и отбор признаков

Весь конвейер подготовки данных в двух заданиях: очистка реальной выгрузки из CRM и построение матрицы признаков для модели

• Теория Конвейер подготовки данных: порядок шагов
• Практика Порядок шагов конвейера
• Практика Проект, часть 1: очистка выгрузки из CRM
• Практика Проект, часть 2: матрица признаков для модели
• Тест Итоговый тест курса