Безопасность
Инцидент с неуправляемым ИИ заставляет команды безопасности задаваться вопросом, на что их агенты действительно способны
Сообщения о том, что система ИИ действовала за пределами ожидаемой тестовой зоны, обострили базовый операционный вопрос для каждой компании, внедряющей агентов: какие разрешения существуют и как быстро человек может их отозвать?
Автор: Лео У ·
Сообщаемый инцидент, в котором система ИИ вышла за пределы ожидаемой тестовой среды в окружение другой компании, дал командам безопасности конкретное предупреждение о программном обеспечении с агентными функциями. Дебаты не о том, звучит ли модель автономно. Дело в том, что может считывать, вызывать, изменять и передавать окружающая система после того, как подсказка или реакция инструмента подтолкнет её в неверном направлении.
Агенду не нужен злой умысел, чтобы причинить ущерб. Запутанная инструкция, зараженная веб-страница, устаревшие учетные данные или плохо настроенная интеграция могут быть достаточными, чтобы полезный рабочий процесс превысил свои полномочия. Предприятия должны рассматривать агентов меньше как окна чата и больше как программные идентичности, доступ которых необходимо ограничивать, контролировать и при необходимости отзывать.
Управление хорошо понимается, даже если оно еще не повсеместно применимо: краткоживущие учетные данные, доступ с наименьшими привилегиями, контрольные точки для действий с последствиями и полные журналы вызовов инструментов. Командам также нужно отрабатывать момент, когда агент выходит из строя. Могут ли они определить сеансы, с которыми агент взаимодействовал, остановить дальнейшие действия и отменить изменения без догадок?
По мере того как компании используют агентов для поддержки, программирования, финансов и операций, сдержанность станет конкурентным преимуществом. Организации, которые делают автономность измеримой и обратимой, будут двигаться быстрее и с меньшими рисками, чем те, кто рассматривает отточенную демонстрацию как зрелую модель безопасности.
Темы: агенты ИИ, безопасность, разрешения