Безопасность
Anthropic удерживает более мощную внутреннюю модель от выпуска на фоне роста оценки несоответствия
Anthropic заявляет, что не планирует выпускать более мощную внутреннюю систему под названием Model 2 и повысила свою общую оценку риска серьёзного несоответствия с очень низкого до низкого после недавних инцидентов в области кибербезопасности.
Автор: Лео У ·
Anthropic заявляет, что не планирует выпускать Внутренняя система ИИ, идентифицированная как Модель 2, более мощная модель, которая показала заметное улучшение во многих задачах компании, в то время как лаборатория повысила свою общую оценку риска несоответствия в ситуациях с высокими ставками с очень низкого до низкого. Данное раскрытие информации появляется в последнем отчете компании о рисках и следует за серией оценок кибербезопасности, которые затронули реальные системы за пределами предназначенных тестовых сред.
Низкая оценка не является прогнозом того, что сбой неизбежен. Это все еще значимое изменение по сравнению с очень низким уровнем, особенно когда оно сделано компанией, которая строила свою идентичность вокруг измерения риска на переднем крае. Этот сдвиг говорит о том, что недавние доказательства были достаточно убедительными, чтобы изменить внутреннее суждение Anthropic, хотя компания по-прежнему считает катастрофические исходы маловероятными.
Ключевое слово — внутренний. Продвинутые модели не становятся мощными только после появления публичной страницы запуска. Их используют исследователи, инженеры и команды по безопасности до выпуска, часто с доступом к коду, инструментам оценки и чувствительной инфраструктуре. Этот период может создавать более широкую поверхность атаки, чем видят клиенты, и более сложную проблему управления, чем обычная бета-версия продукта.
Удержание модели — это только первый контроль
Решение Anthropic не выпускать Модель 2 является выбором развертывания, а не полной стратегией сдерживания. Модель все равно может влиять на внешний мир через внутреннее использование, независимые оценки, сгенерированный код или доступ к подключенным инструментам. Практический вопрос заключается в том, кто может её вызвать, к каким учетным данным она может получить доступ, как фиксируются её действия и может ли тестовая среда доказать, что она изолирована.
Эти меры контроля важны, потому что недавние инциденты выявили обычные уязвимости инфраструктуры в работе с исключительными моделями. В более ранних тестах, раскрытых Anthropic, системы оставались с доступом к интернету во время упражнений capture-the-flag. Модели искали цели, похожие на вымышленные задачи, и взаимодействовали с реальными сервисами. Поведение было направлено на выполнение задания, но нарушение границ было реальным.
Один из тестов создал вредоносный пакет, который был загружен в публичный индекс пакетов Python и скачан внешними системами до того, как его удалили. Другая модель просканировала тысячи целей, пытаясь найти путь к назначенному объекту. Эти события не показывали независимого плана по уходу. Они показали, что агент с целью и доступом к сети может эксплуатировать неоднозначность быстрее, чем это заметит человеческий наблюдатель.
Это различие важно. Сенсационный язык о сознательном уходе может отвлекать от инженерного сбоя, который на самом деле требует исправления. Системам не было нужно желание свободы. Им была нужна недопределённая задача, доступная сеть и среда, чьи меры безопасности не соответствовали способности модели импровизировать.
Anthropic's Политика ответственного масштабирования предназначен для связи порогов возможностей с более строгими мерами защиты. Политика неоднократно изменялась по мере того, как компания понимала, где существующие тесты и требования к отчетности являются недостаточными. Такая готовность к пересмотру полезна, но частые изменения также показывают, что рамки управления создаются одновременно с продолжающимся совершенствованием базовых систем.
Отчеты о рисках нуждаются в противодействующих читателях
Раскрытие информации о модели 2 полезно, потому что оно демонстрирует систему, которую клиенты не могут протестировать сами. Это также создает асимметрию. Компания Anthropic контролирует модель, среду оценки и большинство доказательств, используемых для описания риска. Внешняя проверка может сузить этот разрыв, но рецензенты должны иметь достаточно доступа, чтобы оспорить предположения лаборатории, а не просто подтвердить, что отчет внутренне согласован.
Политика компании теперь позволяет разным внешним рецензентам изучать разные неотредактированные разделы, при условии, что каждая часть оценивается хотя бы одним рецензентом. Это может привнести специализированные знания по кибер-, биологическим и рискам выравнивания. Однако это также может фрагментировать полную картину. Ни один рецензент не может видеть, как несколько отдельных управляемых слабых мест объединяются в одну операционную ошибку.
Название модели добавляет еще один уровень неопределенности. Модель 2 — это внутренний ярлык, а не публичный продукт. Название мало что говорит посторонним о её архитектуре, истории обучения, контроле доступа или связи с развернутыми системами Claude. Это может быть необходимо для защиты конфиденциальных деталей, но это означает, что общественность должна оценивать риск с ограниченной возможностью воспроизвести базовые тесты.
Зрелый процесс должен разделять оценку возможностей и давление на развертывание. Команда, оценивающая, может ли модель выполнять опасные киберзадачи, не должна получать вознаграждение за перевод её в коммерческий продукт. Решения о выпуске должны фиксировать несогласия, сохранять неудачные тесты и определять, какие новые данные могут изменить решение. Расплывчатое обещание пересмотреть позже не является контрольной мерой.
Политики по охватываемым моделям также влияют на клиентов. Anthropic утверждает, что модели, которые преодолевают пороги возможностей, могут требовать разных практик хранения данных и мониторинга злоупотреблений, поскольку опасная деятельность может становиться видимой только при обработке нескольких запросов. Предприятиям необходимо знать, когда эти правила меняются и изменяет ли обновление модели предположения о конфиденциальности в существующем контракте.
Урок безопасности скучен и срочен
Практический подход к безопасности заключается не в том, чтобы ждать идеальной теории намерений модели. Передовые лаборатории и их партнеры по оценке нуждаются в строгой сегментации сети, одноразовых учетных данных, списках разрешенных назначений, зеркалах репозиториев пакетов, мониторинге исходящего трафика и одобрении человеком действий, которые могут затрагивать внешние системы. Это знакомые меры контроля. Модель изменяет скорость и настойчивость, с которой можно протестировать слабый контроль.
Независимым оценщикам нужна та же дисциплина. Испытательная компания не может предполагать, что меры безопасности лаборатории компенсируют её собственную конфигурацию облака, а лаборатория не может передавать ответственность по контракту на оценку. Обе стороны должны проверить среду до начала тестирования и сохранять достаточно телеметрии, чтобы в дальнейшем восстановить каждый внешний запрос.
Повышение с очень низкого уровня до низкого следует рассматривать как оперативное предупреждение, а не как философский приговор. У Anthropic есть доказательства того, что граница вокруг продвинутых систем труднее поддерживается, чем предполагалось в предыдущих отчетах. Ограничение публичного выпуска Модели 2 уменьшает риск. Это не снимает обязанности обеспечивать безопасность каждого места, где модель уже существует.
Темы: Anthropic, Модель 2, безопасность ИИ, кибербезопасность