Что такое ETL?

ETL (Extract, Transform, Load) — процесс переноса данных из источников в хранилище: сначала данные извлекают из систем, затем приводят к единому виду и очищают, и только потом загружают туда, где с ними будут работать аналитики.

Необходимость возникает всегда, когда данные живут в разных местах. CRM называет клиента одним полем, бухгалтерия — другим, рекламный кабинет отдаёт даты в своём формате. Без этапа преобразования свести это в один отчёт невозможно.

Вариант ELT меняет порядок: данные сначала грузят в хранилище как есть, а преобразуют уже внутри него силами самой базы. Так делают в облачных хранилищах, где вычислительной мощности достаточно, а гибкость важнее.

Связанные термины

Data Warehouse

Хранилище данных (DWH) — отдельная база, куда собирают данные из всех систем компании специально для анализа и отчётности. Она хранит историю, приведённую к единой структуре, и не мешает работе основных приложений.

SQL

SQL (Structured Query Language) — язык запросов к базам данных. С его помощью выбирают нужные строки, фильтруют, группируют и соединяют таблицы, а также добавляют, изменяют и удаляют данные.

Database

База данных — это организованное хранилище информации, которое позволяет быстро находить, изменять и надёжно сохранять данные при одновременной работе многих пользователей. Управляет ею отдельная программа — СУБД, например PostgreSQL или MySQL.

Data Analytics

Аналитика данных — это работа с данными компании ради ответов на конкретные вопросы бизнеса: почему упали продажи, какие клиенты уходят, какой канал привлечения окупается. Данные собирают, очищают, анализируют и превращают в понятные выводы и рекомендации.

Python

Python — язык программирования с простым, близким к английскому синтаксисом, который применяют в анализе данных, машинном обучении, backend-разработке и автоматизации. Он универсален и при этом считается самым доступным для первого языка.