Этика
Microsoft перестраивает управление ответственным ИИ вокруг агентов и разрешений инструментов
Отчет о прозрачности Microsoft за 2026 год смещает управление от статического обзора моделей к идентичностям агентов, разрешениям инструментов, контролю во время выполнения и мониторингу действий. Компания утверждает, что все более автономные системы требуют надзора на всех уровнях технологического стека.
Майкл С.
Microsoft переработала свою программу ответственного ИИ, основываясь на базовом изменении поведения системы: агенты могут сохранять память, использовать инструменты, получать доступ к данным и действовать от имени пользователей, поэтому управление больше не может ограничиваться только проверкой модели перед запуском. В своем 2026 Отчете о прозрачности ответственного ИИ, компания описывает меры контроля за идентичностью агентов, разрешениями инструментов, вмешательством во время работы и мониторингом действий. Это направление важно, потому что оно рассматривает ответственность как операционную функцию, а не как документ, приложенный к одобрению продукта.
Microsoft заявляет, что реорганизовала свой Стандарт Ответственного ИИ вокруг уровней технологического стека и ролей, которые компания выполняет как разработчик модели, поставщик платформы и продавец приложений. Это различие имеет значение. Компания, обучающая модель, контролирует другие риски, чем клиент, подключающий агента к данным о зарплате или медицинской информации. Ответственность ослабевает, когда каждый субъект считает, что за окончательное поведение отвечает другой уровень.
Агентные системы делают этот разрыв заметным. Модель может сгенерировать разумный план, в то время как инструмент выполняет его с избыточными правами. Хранилище памяти может сохранять конфиденциальный контекст после того, как пользователь считает задачу завершённой. Два отдельно протестированных агента могут создать небезопасное взаимодействие при обмене данными. Управление должно проверять цепочку действий, включая идентичности, учетные данные, инструменты, данные и точки одобрения человеком.
Microsoft указывает на ASSERT и Спецификацию Управления Агента как способы оценки агентов в соответствии с политикой, размещения управляющих действий во время выполнения на важных этапах и наблюдения за поведением. Эти инструменты отражают переход от вопроса о том, что может сказать модель, к вопросу о том, что система фактически сделала. Принудительное выполнение во время работы может остановить транзакцию или потребовать проверки. Оно также требует четкой политики, которая связывает абстрактное правило с конкретным действием машины.
Агенту нужна идентичность, прежде чем ему потребуется автономность
Организации часто предоставляют агентам учетные данные пользователя или сервисного аккаунта, который их запустил. Это удобно, но сложно проверять. Отдельная идентичность агента может включать ограниченные разрешения, владельца, срок действия и запись действий. Это позволяет командам безопасности отозвать один рабочий процесс, не отключая человека, и помогает следователям отличать человеческое решение от автоматического шага.
Идентичности недостаточно, если разрешения остаются широкими. Ассистенту, которому поручено подготовить счета, может понадобиться читать утвержденные заказы и составлять файл платежей. Ему не требуется полномочие на выпуск средств. Разделение подготовки и исполнения создаёт точку проверки и ограничивает ущерб от неправильной команды или скомпрометированного коннектора. Контроль должен обеспечиваться инструментом, а не оставаться просто предложением в инструкциях модели.
Мониторинг должен фиксировать действие и окружающий контекст принятия решений без хранения большего количества персональных данных, чем необходимо. Журнал, указывающий, что агент вызвал API, неполный, если рецензенты не могут видеть политику и состояние утверждения. Расшифровка, содержащая каждый документ, может стать новой угрозой для конфиденциальности. Ответственные операции требуют продуманного выбора полей для логирования, сроков хранения и контроля доступа, а не сбора всего подряд на случай, если расследование когда-либо окажется полезным.
В отчёте также связываются вопросы управления с сертификацией. Microsoft утверждает, что широкий портфель, включая Microsoft 365 Copilot, Foundry и GitHub Copilot, сертифицирован в соответствии с ISO 42001. Сертификация может установить повторяемые процессы управления. Она не сертифицирует, что каждое действие агента безопасно. Клиенты должны рассматривать её как доказательство организационного контроля и по-прежнему оценивать конкретное развертывание, данные и пользователей, с которыми имеют дело.
Общие стандарты могут сократить имитацию управления
Microsoft сотрудничает с институтами общественной безопасности, Форумом Frontier Model, OpenTelemetry, Фондом Appia и рабочей группой ОЭСР по общим практикам и отчетности. Взаимная совместимость важна, потому что компании используют модели и агентов от нескольких поставщиков. Риск-событие не должно исчезать, когда одна система передает работу другой. Общие телеметрические данные и поля отчетности могут сохранить ответственность по всей цепочке.
Компания сообщает, что сформировала Внешний Альянс Красной Команды с 18 университетами на шести континентах. Это может расширить языковые, культурные и дисциплинарные компетенции за пределами внутренней команды. Независимость зависит от контрактов, прав на публикацию и доступа. Университет-партнер, который может тестировать только утвержденные сценарии и не может раскрывать разногласия, является продолжением поставщика, а не значимой внешней проверкой.
Microsoft также поддерживает расширение MLCommons AILuminate в тесты надежности, охватывающие устойчивость к джейлбрейку, многоязычную производительность и психосоциальные риски. Общие эталонные показатели могут сделать утверждения более сопоставимыми, но они не должны заменять затронутые сообщества. Разговорная система может пройти стандартизованный тест и при этом причинить вред на локальном языке или в институциональной среде, которую эталон не представлял.
Само по себе раскрытие прозрачности требует измеримых результатов. Отчет может перечислять инвестиции в управление без указания того, были ли реализованы вмешательства, какие продукты не прошли проверку или как инциденты изменили политику. Полезные будущие раскрытия будут включать количество заблокированных действий агентов, распространенные причины эскалации, время на рассмотрение отчетов и примеры систем, задержанных или переработанных из-за того, что доказательства не соответствовали стандарту.
Оперативное управление должно иметь возможность останавливать работу
Самый строгий процесс ответственного ИИ неэффективен, если команды продукта могут воспринимать его как совет. Контролю во время эксплуатации должны быть назначены конкретные владельцы и полномочие приостанавливать развертывание. Исключения с высоким риском должны фиксировать, кто их одобрил, на какой срок и при каких смягчающих мерах. Такая структура защищает инженеров и сотрудников политики от того, чтобы им приходилось брать на себя ответственность без полномочий.
Клиенты сталкиваются с той же проблемой управления. Покупка соответствующей нормативным требованиям платформы не делает небезопасный рабочий процесс ответственным. Работодатель, подключающий агента к персональным данным, должен определить цель и возможность обжалования. Больнице требуется клиническая экспертиза. Банку необходим контроль транзакций. Поставщик может предоставить инструменты и доказательства, но решение о том, где система действует и кто несет последствия, принимает разворачивающая организация.
Работникам также нужна прозрачность в управлении агентами. Если работодатель использует автоматизированные системы для оценки производительности или реорганизации задач, персонал должен знать, какие данные используются и как оспорить результат. Внутренние меры ответственного ИИ могут уменьшить риски, не предоставляя затронутым лицам возможности правовой защиты. Отчеты о прозрачности должны связывать технические меры защиты с правами и процедурами, доступными человеку при оспаривании решения.
Управление поставщиками станет серьёзным испытанием. Клиент Microsoft может подключить Copilot к сторонней модели, специализированной сервисной базе данных и платформе автоматизации. Каждый поставщик может заявлять о соответствии требованиям, в то время как объединённый рабочий процесс создаёт путь, который никто не оценивал. Контракты должны предусматривать уведомление о существенных изменениях модели или разрешений, а телеметрия во время работы должна сохранять информацию о том, какой поставщик выполнил каждое действие.
Советам директоров потребуется меньше общих панелей AI и больше решений, привязанных к уровню принимаемого риска. Полезная отчетность выявляет, какие агенты могут перемещать деньги, публиковать внешне или получать доступ к регулируемым данным, а также показывает уровень исключений и неразрешённых инцидентов. Подсчёт количества одобренных AI-проектов стимулирует расширение. Измерение привилегированных действий и эффективных вмешательств показывает, соответствует ли управление требованиям.
Регуляторам также следует воздерживаться от предположения, что прозрачность поставщика заменяет юридическое раскрытие информации. Добровольные отчеты составляются оцениваемой организацией и могут акцентировать внимание на инвестициях, а не на неудачах. Общие обязательные поля для серьезных инцидентов и развертываний с высоким воздействием позволили бы проводить сравнения, оставляя компаниям возможность публиковать больше деталей. Совместимость должна применяться к подотчетности, а не только к технической телеметрии.
Отчёт Microsoft наиболее полезен там, где признаётся, что статическое управление больше не является достаточным. Идентичности агентов, разрешения для инструментов и мониторинг — это обычные концепции безопасности, применяемые к новому уровню исполнения. Тест заключается в том, остаются ли они обычными на практике: последовательно настроенными, независимо проверенными и способными остановить прибыльный продукт. Ответственный ИИ становится достоверным, когда контроль срабатывает в день, когда агент пытается его пересечь.
Темы: Microsoft, ответственный ИИ, агенты ИИ, управление, прозрачность