Чат-бот советует, агент действует
Обычный чат-бот формирует текст и ждёт человека. Агент подключается к инструментам: читает карточку клиента, меняет ответственного, создаёт задачу, отправляет письмо или вызывает платёжный API. В этот момент модель становится частью операционного процесса, а её доступы превращаются в такой же актив, как доступы менеджера или бухгалтера.
Проблема в том, что компания часто начинает пилот с технического удобства. Разработчик выдаёт агенту один широкий ключ, чтобы быстрее проверить сценарий. Пилот начинает приносить пользу, остаётся в рабочем контуре, а временный ключ незаметно становится постоянным. Через несколько месяцев никто уже не помнит, какие именно таблицы, контакты и действия ему доступны.
Самая опасная ошибка выглядит как нормальная работа
Взлом не всегда начинается с красного предупреждения. Клиент может прислать в письме инструкцию, которую агент ошибочно воспримет как команду. Сотрудник может попросить обработать не тот документ. Интеграция может вернуть неполные данные, а модель уверенно продолжит цепочку. В интерфейсе всё будет выглядеть как обычная автоматизация.
Поэтому проверять нужно не только ответы модели, но и границу полномочий. Если агент ошибся в классификации лида, система может предложить исправление. Если он уже вернул деньги, удалил договор или открыл чужую клиентскую базу, красивое объяснение после события не поможет.
Минимальная архитектура безопасного агента
Не обязательно строить банковский контур вокруг каждого помощника. Но пять механизмов должны появиться до подключения к реальным данным.
- Отдельная идентичность: у каждого агента своя учётная запись, ключ и понятный владелец.
- Минимальные права: чтение и запись разделяются, доступ ограничивается нужными сущностями и полями.
- Подтверждение: платежи, удаление, экспорт базы и массовые отправки ждут решения человека.
- Журнал: сохраняются входные данные, вызванный инструмент, результат, пользователь и время.
- Лимиты и откат: сумма, частота и объём действий ограничены, а изменение можно отменить.
- Аварийная остановка: ответственный сотрудник выключает агента без ожидания разработчика.
Как проверить текущий пилот за один день
Составьте таблицу из трёх колонок: что агент видит, что он может изменить и что он может отправить наружу. Для каждого действия спросите, нужен ли второй участник и можно ли восстановить состояние. Затем проведите три теста: ошибочная команда, недоступный объект и повтор одного запроса несколько раз.
Хорошая CRM делает этот контроль видимым. Роли хранятся отдельно, подтверждение появляется прямо в процессе, а журнал показывает не только итоговый статус, но и источник изменения. Тогда ИИ ускоряет команду, не превращаясь в невидимого администратора с безграничными правами.
Источники
Материал подготовлен по открытым публикациям и официальным разъяснениям, актуальным на дату статьи.