Що таке ембединг (embedding)?

Ембединг — це представлення тексту, зображення чи іншого обʼєкта у вигляді вектора чисел, у якому близькі за змістом обʼєкти опиняються поруч. Саме ембединги дозволяють компʼютеру порівнювати документи за змістом, а не за збігом слів.

Ембединг створює окрема модель: на вхід подається текст, на виході отримується список із сотень або тисяч чисел. Самі по собі ці числа нечитабельні, але відстань між двома векторами показує, наскільки схожі вихідні тексти.

Завдяки цьому фрази «як повернути товар» і «умови повернення покупки» опиняються поруч, хоча не мають жодного спільного слова. На цій властивості побудовані семантичний пошук, рекомендації, кластеризація та RAG.

Ембединг і векторна база — це різні речі

Ембединг — це сам вектор, результат роботи моделі. Векторна база даних — сховище, куди ці вектори складають, щоб швидко шукати найближчі. Ембединги можна отримувати й без векторної бази, але шукати по мільйонах векторів без неї непрактично.

Повʼязані терміни

Vector Database

Векторна база даних — це сховище, оптимізоване під ембединги: вона зберігає вектори разом із вихідними фрагментами тексту й уміє за мілісекунди знаходити ті з них, що найближчі до вектора запиту.

Semantic Search

Семантичний пошук — це пошук за змістом запиту, а не за збігом слів. Запит і документи переводяться в ембединги, після чого система знаходить записи, вектори яких найближчі до вектора запиту.

RAG

RAG (Retrieval-Augmented Generation) — це підхід, за якого перед відповіддю система спочатку знаходить релевантні фрагменти у вашій базі знань і передає їх мовній моделі разом із питанням. Модель відповідає не «з памʼяті», а за конкретними документами.

LLM

LLM (Large Language Model, велика мовна модель) — це нейромережа, навчена на величезних обсягах тексту, яка прогнозує наступний фрагмент тексту. Саме на LLM працюють ChatGPT, Claude, Gemini та інші AI-асистенти.

Neural Network

Нейромережа — це математична модель із шарів повʼязаних між собою «нейронів», кожен з яких множить вхідні числа на ваги й передає результат далі. Навчання нейромережі — це підбір мільйонів таких ваг, щоб вихід моделі збігався з правильною відповіддю.