Что такое эмбеддинг (embedding)?

Эмбеддинг — это представление текста, изображения или другого объекта в виде вектора чисел, в котором близкие по смыслу объекты оказываются близко друг к другу. Именно эмбеддинги позволяют компьютеру сравнивать документы по смыслу, а не по совпадению слов.

Эмбеддинг создаёт отдельная модель: на вход подаётся текст, на выходе получается список из сотен или тысяч чисел. Сами по себе эти числа нечитаемы, но расстояние между двумя векторами показывает, насколько похожи исходные тексты.

Благодаря этому фразы «как вернуть товар» и «условия возврата покупки» оказываются рядом, хотя не имеют ни одного общего слова. На этом свойстве построены семантический поиск, рекомендации, кластеризация и RAG.

Эмбеддинг и векторная база — это разные вещи

Эмбеддинг — это сам вектор, результат работы модели. Векторная база данных — хранилище, куда эти векторы складывают, чтобы быстро искать ближайшие. Эмбеддинги можно получать и без векторной базы, но искать по миллионам векторов без неё непрактично.

Связанные термины

Vector Database

Векторная база данных — это хранилище, оптимизированное под эмбеддинги: она хранит векторы вместе с исходными фрагментами текста и умеет за миллисекунды находить те из них, которые ближе всего к вектору запроса.

Semantic Search

Семантический поиск — это поиск по смыслу запроса, а не по совпадению слов. Запрос и документы переводятся в эмбеддинги, после чего система находит записи, векторы которых ближе всего к вектору запроса.

RAG

RAG (Retrieval-Augmented Generation) — это подход, при котором перед ответом система сначала находит релевантные фрагменты в вашей базе знаний и передаёт их языковой модели вместе с вопросом. Модель отвечает не «по памяти», а по конкретным документам.

LLM

LLM (Large Language Model, большая языковая модель) — это нейросеть, обученная на огромных объёмах текста и предсказывающая следующий фрагмент текста. Именно на LLM работают ChatGPT, Claude, Gemini и другие AI-ассистенты.

Neural Network

Нейросеть — это математическая модель из слоёв связанных между собой «нейронов», каждый из которых умножает входные числа на веса и передаёт результат дальше. Обучение нейросети — это подбор миллионов таких весов, чтобы выход модели совпадал с правильным ответом.