Что такое галлюцинации AI?

Галлюцинация — это ответ языковой модели, который звучит уверенно и правдоподобно, но фактически неверен: выдуманная цитата, несуществующая функция библиотеки, придуманный номер закона или ссылка, которая никуда не ведёт.

Причина — в самой природе модели. Она предсказывает правдоподобное продолжение текста, а не сверяется с источником истины. Если в обучающих данных не было точного факта, модель всё равно выдаст статистически «похожий на правду» вариант, потому что промолчать для неё не более естественно, чем ответить.

Риск снижают, а не устраняют: подмешивают проверяемые источники через RAG, просят модель ссылаться на конкретные фрагменты, разрешают ответ «не знаю» и оставляют человека проверять критичные решения.

Пример

Типичный случай: модель уверенно называет метод библиотеки, которого в ней нет. Код выглядит правильным и падает только при запуске — поэтому вывод AI всегда стоит проверять.

Связанные термины

LLM

LLM (Large Language Model, большая языковая модель) — это нейросеть, обученная на огромных объёмах текста и предсказывающая следующий фрагмент текста. Именно на LLM работают ChatGPT, Claude, Gemini и другие AI-ассистенты.

RAG

RAG (Retrieval-Augmented Generation) — это подход, при котором перед ответом система сначала находит релевантные фрагменты в вашей базе знаний и передаёт их языковой модели вместе с вопросом. Модель отвечает не «по памяти», а по конкретным документам.

Human-in-the-loop

Human-in-the-loop — это принцип построения AI-систем, при котором человек включён в рабочий цикл и подтверждает или корректирует решения модели в заранее определённых точках: перед необратимым действием, при низкой уверенности или в чувствительных сценариях.

Prompt Engineering

Промпт-инжиниринг — это практика проектирования запросов к языковым моделям так, чтобы получать стабильный и предсказуемый результат: подбор формулировок, структуры, примеров и ограничений, а затем проверка их на реальных задачах.

Generative AI

Генеративный AI (GenAI) — это класс моделей искусственного интеллекта, которые создают новый контент: текст, изображения, аудио, видео или код. В отличие от классических моделей, которые выбирают ответ из готовых вариантов, генеративные модели порождают результат с нуля.