Что такое human-in-the-loop?
Human-in-the-loop — это принцип построения AI-систем, при котором человек включён в рабочий цикл и подтверждает или корректирует решения модели в заранее определённых точках: перед необратимым действием, при низкой уверенности или в чувствительных сценариях.
Смысл не в том, чтобы проверять каждый шаг — это убило бы всю выгоду от автоматизации. Смысл в правильном выборе контрольных точек: письмо клиенту уходит после подтверждения, платёж выше лимита требует утверждения, спорная категоризация уходит оператору, а рутинные случаи проходят автоматически.
Такой контур даёт ещё один эффект: правки человека — это готовые данные о том, где система ошибается. Их используют, чтобы улучшать промпты и правила, и постепенно расширять зону автономной работы.
Где применяется
Точки подтверждения расставляют там, где действие необратимо или ошибка дорога: отправка письма клиенту, проведение платежа, изменение записи в CRM, удаление данных, публикация материала. Чтение данных и подготовку черновиков при этом обычно оставляют полностью автоматическими.
Второй сценарий — обучение системы на практике. Оператор видит предложение модели, принимает или правит его, и эти правки накапливаются как материал для улучшения промптов и правил. Так зона самостоятельности расширяется постепенно, по мере накопленной статистики ошибок.
Пример
Агент разобрал сорок обращений и подготовил ответы. Тридцать пять он отправил сам — уверенность высокая, тема типовая. Пять пограничных вынес оператору: тот исправил формулировку в двух и подтвердил остальные, потратив несколько минут вместо часа.
Частые вопросы
Не сводит ли это на нет пользу автоматизации?
Нет, если подтверждение требуется не на каждом шаге, а только в рискованных точках. Человек проверяет небольшую долю случаев вместо того, чтобы выполнять всю работу. Экономия сохраняется, а вероятность дорогой ошибки резко падает.
Где именно ставить точку подтверждения?
Перед необратимыми действиями, при низкой уверенности модели, на крупных суммах и нетиповых случаях, а также в чувствительных темах — жалобы, юридические вопросы, здоровье. Остальное можно оставить автоматическим и выборочно проверять постфактум.
Как понять, что систему пора отпускать?
По накопленной статистике: доля правок оператора на конкретном типе задач стабильно низкая в течение достаточного периода. Тогда для этого типа подтверждение снимают, оставляя журналирование и выборочный контроль. Для остальных сценариев режим не меняют.
Требуется ли это по закону?
В ряде случаев да. Европейское регулирование ограничивает полностью автоматические решения, существенно затрагивающие человека, — кредитование, наём, страхование. Точный ответ зависит от юрисдикции и отрасли, поэтому его уточняют у юриста до запуска системы.