Что такое галлюцинации AI?
Галлюцинация — это ответ языковой модели, который звучит уверенно и правдоподобно, но фактически неверен: выдуманная цитата, несуществующая функция библиотеки, придуманный номер закона или ссылка, которая никуда не ведёт.
Причина — в самой природе модели. Она предсказывает правдоподобное продолжение текста, а не сверяется с источником истины. Если в обучающих данных не было точного факта, модель всё равно выдаст статистически «похожий на правду» вариант, потому что промолчать для неё не более естественно, чем ответить.
Риск снижают, а не устраняют: подмешивают проверяемые источники через RAG, просят модель ссылаться на конкретные фрагменты, разрешают ответ «не знаю» и оставляют человека проверять критичные решения.
Где применяется
С галлюцинациями сталкивается каждый, кто применяет модели в работе: придуманная функция библиотеки в коде, несуществующий пункт закона в юридической справке, выдуманная ссылка в подборке источников, неверная цифра в пересказе отчёта.
Поэтому в рабочих процессах их не «лечат», а ограничивают. Модели дают конкретные документы вместо опоры на память, просят указывать источник каждого утверждения, добавляют автоматические проверки формата и фактов, а на ответственных шагах оставляют подтверждение человеком.
Пример
Типичный случай: модель уверенно называет метод библиотеки, которого в ней нет. Код выглядит правильным и падает только при запуске — поэтому вывод AI всегда стоит проверять.
Частые вопросы
Почему языковые модели вообще выдумывают?
Потому что модель предсказывает правдоподобное продолжение текста, а не проверяет факты. У неё нет представления о том, что она чего-то не знает, поэтому пробел в знаниях заполняется наиболее вероятным по форме вариантом — уверенным и грамматически безупречным.
Как уменьшить количество галлюцинаций?
Передавать модели исходные документы и требовать отвечать только по ним, просить ссылки на конкретные фрагменты, разрешать ответ «в предоставленных материалах этого нет», снижать температуру и проверять критичные данные автоматически или вручную.
Можно ли полностью избавиться от галлюцинаций?
Нет, это следствие самого принципа работы модели, а не устранимая ошибка. Хорошая практика снижает частоту на порядок, но не до нуля. Поэтому в ответственных сценариях — медицина, право, финансы — проверка человеком остаётся обязательной.
Как заметить галлюцинацию?
Настораживать должны конкретные детали, которые легко проверить: точные цитаты, номера, ссылки, названия методов и параметров. Именно они чаще всего оказываются выдуманными. Уверенный тон надёжным признаком не является — он одинаков и в верных, и в ошибочных ответах.