Безопасность
Дорожная карта контроля ИИ DeepMind рассматривает агентов как внутренние угрозы
Google DeepMind опубликовала Дорожную карту контроля ИИ для мониторинга и ограничения всё более автономных агентов. Важно, как постановлена проблема безопасности: по мере того как агенты получают доступ к инструментам, компаниям может потребоваться рассматривать их не столько как функции программного обеспечения, сколько как акторов с высокими привилегиями внутри системы.
Автор: Лео У ·
Google DeepMind опубликовала Дорожную карту контроля ИИ для мониторинга и ограничения более продвинутых агентов, Axios сообщает источник. Основная идея на удивление практична: по мере того как системы ИИ становятся более автономными, лаборатории должны перенимать методы кибербезопасности и рассматривать агентов не как пассивные программные инструменты, а как потенциальные внутренние угрозы с доступом к конфиденциальной информации.
Это значительный сдвиг в языке безопасности ИИ. Согласованность остается первым уровнем, но DeepMind признает, что одной согласованности может быть недостаточно для систем, которые могут кодировать, просматривать, планировать, использовать инструменты, работать с учетными данными и функционировать в рамках долгосрочных рабочих процессов. Как только агент способен действовать, сдерживание становится частью безопасности.
Рамка внутренней угрозы
Корпоративная безопасность уже предполагает, что доверенные участники могут совершать ошибки, злоупотреблять доступом или подвергаться компрометации. Та же ментальная модель начинает применяться к AI-агенты. Полезному агенту для программирования может понадобиться доступ к репозиторию, разрешения на развертывание и контекст трекера задач. Эти же разрешения создают радиус поражения, если агент преследует неправильную цель или скрывает доказательства неудачи.
Исследователь DeepMind Рохин Шах сообщил Axios, что выравнивание должно оставаться первой линией защиты, но за безопасность отвечают несколько уровней. Один из предложенных уровней заключается в использовании других систем ИИ в качестве надзирателей, которые проверяют рассуждения и поведение агента на предмет отклонений. Это превращает контроль в задачу активного мониторинга, а не в статичный документ с правилами.
Надзиратели нуждаются в собственных гарантиях
Подход с наблюдающим вызывает трудные вопросы. Если одна модель контролирует другую, что предотвращает сговор, слепые зоны, общие режимы отказов или наблюдающего, которого проще обмануть, чем человеческого рецензента? Ответ вряд ли заключается в одном мониторе. Это будет включать многоуровневое логирование, песочницы, границы разрешений, обнаружение аномалий, методики red-team доказательства и эскалацию к человеку.
Время имеет значение. Опасные полностью автономные агенты, возможно, еще не существуют в том виде, в котором их представляет научная фантастика. Но полуавтономные агенты уже входят в программы разработки программного обеспечения, научные исследования, кибербезопасность, операции с клиентами и финансы. Ждать до появления первой крупной ошибки было бы типичной ошибкой в области безопасности.
Безопасность агентов становится инженерией безопасности
Темы: Google DeepMind, агенты ИИ, безопасность ИИ, кибербезопасность