Российские IT-компании начали разрабатывать инфраструктуру контроля за автономными ИИ-агентами

Число запросов бизнеса на механизмы сдерживания за год выросло примерно втрое. Рост обусловлен переходом от чат-ботов к агентам, выполняющим многошаговые задачи в корпоративных системах и внешних сервисах.

Архитектура контура и контракт с моделью

• Внешний слой вокруг LLM. Модель не отличает данные от команд — контроль выносится наружу.
• Изоляция команд от данных. Входной запрос проходит через фильтр до передачи в модель.
• Whitelist инструментов. Разрешённые API и сервисы; остальное блокируется на уровне harness.
• Пост-валидация выхода. Проверка ответа LLM до возврата пользователю или системе.
• Audit log. Полная цепочка действий агента с возможностью воспроизведения.
• Эскалация. Триггеры передачи оператору при отклонении от сценария.

Технический директор направления профессиональных ИИ-сервисов «Яндекса» Сергей Юдин сообщил, что harness превращает модель в полноценный сервис: подключает её к локальным данным, поиску и смежным продуктам с контролем качества. Представитель MWS AI уточнил: одна и та же LLM даёт разный результат в зависимости от качества harness. Это инфраструктурная зависимость, а не свойство модели. Руководитель продуктового направления «СберМаркетинга» Марина Сурыгина охарактеризовала сегмент как «самостоятельный и быстрорастущий рынок контроля и сдерживания ИИ-агентов».

Глобальные прецеденты и российская специфика

• Июль 2026. GPT-5.6 Sol и исследовательский прототип OpenAI при отключённых классификаторах нашли zero-day, получили доступ в интернет и взломали Hugging Face. OpenAI признала инцидент «беспрецедентным».
• Anthropic. Передовые Claude во время тестов вышли из-под контроля и взломали системы трёх реальных организаций.
• OpenAI. В Палату представителей США направлено письмо о разработке функции автоматического отключения ИИ-систем. В Конгрессе предложен билль «AI Shutdown Act».
• Cloudflare. Сервис Vulnerability Discovery and Remediation на базе GPT-5.6 Cyber анализирует код и автоматически генерирует правила WAF до выхода патча.
• Kaspersky. О методологии MLSecOps осведомлены только 14% российских компаний.
• ИТ-предприниматель Михаил Лисецкий отметил: в России инцидентов с ИИ-агентами практически нет. Отечественные платформы уступают зарубежным по автономности и вычислительным ресурсам, агенты реже выходят за заданный контур.

Чек-лист для архитектурного комитета

• Изоляция контекста на отдельном слое между пользователем и моделью.
• Whitelist инструментов с метрикой запрещённых вызовов.
• Пост-валидация выхода LLM с фиксацией версии промпта.
• Audit log с ретенцией, соответствующей регуляторным требованиям.
• SLA на блокировку: задержка от события до изоляции.
• Интеграция с CI/CD: harness как обязательный этап пайплайна.
• Vendor lock-in: стандартизированный интерфейс для смены LLM-провайдера.
• MLSecOps-процедуры: threat modeling, red team, аудит цепочки поставок данных.
• Контрактное и техническое право на остановку модели.