8 апреля Microsoft выпустил инструментарий с открытым исходным кодом для безопасности во время выполнения ИИ-агентов, доступный на github.com/microsoft/agent-governance-toolkit. Решение закрывает важный пробел в корпоративной безопасности: когда автономные агенты на базе больших языковых моделей выполняют код и обращаются к корпоративным сетям, традиционные средства защиты оказываются бессильны.
Как это работает
Инструментарий вставляет движок применения политик между языковой моделью и корпоративной сетью. Когда агент пытается вызвать внешнюю функцию — например, запросить систему инвентаризации — инструментарий перехватывает запрос и проверяет его на соответствие централизованным правилам. Если действие нарушает политику, вызов блокируется, а событие фиксируется для проверки человеком.
Подход приоритизирует перехват во время выполнения над статическим анализом. Традиционное сканирование уязвимостей перед деплоем не справляется с недетерминированным поведением LLM, где даже базовая галлюцинация или внедрение скрытых инструкций в запрос может заставить агента перезаписать базу данных.
Ключевые возможности
Блокировка действий в реальном времени, аудит каждого автономного решения, отделение политик безопасности от промптов модели, защита унаследованных систем, лимиты потребления токенов и ресурсов. Microsoft выбрал лицензирование с открытым исходным кодом, чтобы инструментарий работал с любым стеком - будь то локальные модели с открытыми весами, Anthropic или гибридные конфигурации.
Если бы Microsoft сохранил это проприетарным, команды разработки просто обходили бы инструмент ради скорости. Открытый исходный код позволяет сообществу кибербезопасности вносить вклад и создаёт основу для коммерческих решений.
