Управление рисками AI-агентов: чек-лист безопасного внедрения в бизнесе

Короткий ответ: AI-агент безопасен не потому, что «умный», а потому, что у него узкие права, разделены чтение и запись, включён аудит-лог действий и явно прописан список решений, которые он не имеет права принимать сам. Без этих четырёх условий даже качественная модель рано или поздно совершит дорогую ошибку — спишет не ту сумму, отправит клиенту не то письмо или подтвердит действие, которое нельзя отменить. Дальше — какие риски встречаются чаще всего и как их закрывать на практике.

Какие риски AI-агентов компании обычно недооценивают

По данным разбора Zapier «How to build safe and trustworthy AI agents», основная часть инцидентов с корпоративными AI-агентами приходится не на «глупость» модели, а на архитектурные пробелы в правах и контроле. Unlim Group по проектам внедрения видит ту же картину: типовых рисков семь, и почти все закрываются на этапе настройки, а не патчем после инцидента.

• Несанкционированный доступ к данным и утечка учётных данных — агенту выдают более широкие права, чем нужны для задачи, «про запас».
• Prompt injection — вредоносная инструкция спрятана во внешнем контенте (письме, странице, PDF), который агент обрабатывает как обычные данные.
• Необратимые действия — списание, удаление, отправка — выполняются без промежуточного подтверждения.
• Токсичный или некорректный контент — агент генерирует ответ клиенту без фильтра тона и фактчекинга.
• Незаметный дрейф качества — точность агента падает постепенно, а не сразу, и автоматические метрики этого не ловят.
• Утечка персональных данных (ПДн) — агент включает чувствительные данные в лог, ответ или передачу третьей стороне.
• Самостоятельные решения об эскалации — агент решает не передавать сложный случай человеку, хотя должен был.

Принцип «круга доверия»: с каких прав начинать агенту

Рабочий принцип из практики Zapier и Unlim Group — доверие агенту не выдаётся авансом, а зарабатывается пилотом на низкорисковых задачах. Практически это выглядит так:

• Агенту выдаётся минимально необходимый набор прав под конкретную задачу, а не роль «администратора» системы.
• Аутентификация — через OAuth с отзываемыми токенами, а не общий пароль сервисного аккаунта.
• Чтение и запись разделены: новые данные агент сначала кладёт в черновик, а не публикует и не отправляет напрямую.
• Все действия агента пишутся в единый аудит-лог с возможностью быстро отключить доступ одним тумблером.
• Входы и выходы агента проходят фильтр на ПДн, prompt injection и токсичность до того, как результат уходит дальше по цепочке.

У самой Zapier есть жёсткое числовое ограничение как часть этой архитектуры: если шаг агента доходит до 75 задач за один прогон, система автоматически останавливает выполнение и передаёт его на проверку человеку — это простой, но показательный пример «встроенного тормоза», а не полагания на добрую волю модели.

Какие решения нельзя отдавать агенту без человека

Часть решений в принципе не стоит автоматизировать полностью, даже если модель технически справляется. Ниже — граница, которую в проектах Unlim Group проводят одной из первых.

Агент может делать сам	Нужно подтверждение человека
Собрать данные, сформировать черновик ответа или документа	Отправка коммуникации клиенту от имени компании
Рассчитать сумму, подготовить проводку	Финансовая операция, которая реально списывает или переводит деньги
Предложить изменение записи в CRM/базе	Изменение данных, которое трудно или невозможно откатить
Определить, что случай нетипичный	Решение эскалировать или не эскалировать обращение человеку

Российская специфика: 152-ФЗ и ответственность за действия агента

С юридической точки зрения все действия AI-агента — это действия компании, которая его развернула: 152-ФЗ «О персональных данных» и общие нормы об ответственности оператора применяются к результату так же, как если бы действие выполнил сотрудник. Отсюда два практических следствия, которые Unlim Group закладывает в проекты для клиентов из РФ и СНГ:

• Аудит-лог действий агента должен храниться так же, как логи доступа сотрудников к ПДн — с той же политикой хранения и доступа, а не отдельно «как техническая телеметрия».
• Для сценариев с персональными данными выбор модели и контура (российское облако, GigaChat/YandexGPT или локальное развёртывание открытой модели) — это не только вопрос качества ответа, но и требование по локализации данных.

С чего начинать пилот, чтобы не откатывать его через месяц

Практика Unlim Group подтверждает вывод источника: агенты, которых сразу выпускают на высокорисковые задачи, чаще откатывают после первого же серьёзного инцидента, и восстановить доверие команды к автоматизации потом сложнее, чем внедрить её заново. Рабочая последовательность:

1. Начать с задач, где цена ошибки низкая и действие легко отменить.
2. Зафиксировать метрики до внедрения: точность, время обработки, долю случаев, ушедших на эскалацию.
3. Регулярно, а не только в момент инцидента, проверять success rate, качество ответов и edge-кейсы вручную.
4. Расширять права агента только после того, как метрики стабильны на предыдущем уровне доверия несколько недель подряд.

Как понять, что пилот готов к расширению прав

Один из частых вопросов клиентов Unlim Group — «сколько ждать, прежде чем разрешить агенту больше?». Универсального срока нет, но есть три проверяемых условия, при которых расширение прав оправдано, а не рискованно:

• Метрика success rate стабильна (без просадок) минимум 3-4 недели подряд, а не разово показала хороший результат.
• Доля edge-кейсов, ушедших на ручную проверку, снижается или остаётся на плановом уровне, а не растёт незаметно — именно так проявляется дрейф качества, который автоматические дашборды часто не ловят.
• За период пилота не было ни одного случая, когда агент довёл до конца действие из правой колонки таблицы выше без прямого подтверждения человека — если такое было хотя бы раз, это сигнал чинить контроль доступа, а не расширять права.

Если хотя бы одно условие не выполняется, права не расширяют, а разбирают конкретный инцидент — это дешевле, чем откатывать уже расширенный периметр после серьёзной ошибки.

Читайте также: Практическое применение AI-агентов в продажах, маркетинге, HR, финансах и поддержке и AI-агенты в финансовом отделе.

---

Материал подготовлен командой Unlim Group. Источником вдохновения послужила публикация Zapier «How to build safe and trustworthy AI agents» (Steph Spector, обновление август 2026 года). Российский контекст, требования 152-ФЗ и чек-лист запуска пилота — собственный опыт проектов Unlim Group.