Что такое human-in-the-loop?
Human-in-the-loop — это принцип построения AI-систем, при котором человек включён в рабочий цикл и подтверждает или корректирует решения модели в заранее определённых точках: перед необратимым действием, при низкой уверенности или в чувствительных сценариях.
Смысл не в том, чтобы проверять каждый шаг — это убило бы всю выгоду от автоматизации. Смысл в правильном выборе контрольных точек: письмо клиенту уходит после подтверждения, платёж выше лимита требует утверждения, спорная категоризация уходит оператору, а рутинные случаи проходят автоматически.
Такой контур даёт ещё один эффект: правки человека — это готовые данные о том, где система ошибается. Их используют, чтобы улучшать промпты и правила, и постепенно расширять зону автономной работы.
Связанные термины
AI-агент — это программа на базе языковой модели, которая получает цель, сама планирует шаги к ней и выполняет их с помощью подключённых инструментов: ищет данные, вызывает API, редактирует файлы, отправляет письма — и по результату каждого шага решает, что делать дальше.
Agentic AIAgentic AI — это подход к построению AI-систем, в которых модель действует самостоятельно: сама разбивает задачу на шаги, выбирает инструменты, реагирует на ошибки и доводит работу до результата, а не выполняет одну заранее заданную операцию.
AI AutomationAI-автоматизация — это перенос рабочих процессов на сценарии, в которых решения на неструктурированных данных принимает языковая модель: разобрать письмо, классифицировать заявку, извлечь данные из документа, составить черновик ответа.
HallucinationГаллюцинация — это ответ языковой модели, который звучит уверенно и правдоподобно, но фактически неверен: выдуманная цитата, несуществующая функция библиотеки, придуманный номер закона или ссылка, которая никуда не ведёт.