Безопасность
Самая опасная модель ИИ компании Anthropic была утекла. Вот что это значит для безопасности ИИ.
Клод Мифос, модель, которую Anthropic сочло слишком опасной для публичного выпуска, была получена неавторизованными пользователями в течение нескольких часов после её анонса. Нарушение подчеркивает фундаментальное противоречие в ответственной разработке ИИ.
Патрик Т ·
В тот же день, когда Anthropic публично анонсировала Claude Mythos — модель, которую компания описала как способную обнаруживать новые уязвимости в кибербезопасности на уровне, превышающем возможности человеческих экспертов, — небольшая группа пользователей на частном сервере Discord уже получила несанкционированный доступ к ней. Нарушение, впервые о котором сообщил Bloomberg, не было результатом сложного взлома. Оно произошло из-за подрядчика с легитимным доступом и группы, которая достаточно изучила внутреннюю инфраструктуру Anthropic, чтобы сделать обоснованное предположение о том, где размещена модель.
Этот инцидент одновременно обыденный и тревожный. Обыденный потому, что внутренние угрозы и уязвимости в цепочке поставок — одни из самых распространенных векторов утечки корпоративных данных. Тревожный потому, что рассматриваемый актив — это не база данных с записями клиентов или исходным кодом компании — это система ИИ, которую собственная команда по безопасности Anthropic признала слишком опасной для выпуска в общий доступ.
Если какой-то случайный форум в Discord получил к нему доступ, значит, он уже был взломан противниками. Настоящий вопрос не в том, есть ли он у других — а в том, что они с ним делают.
Дэвид Линднер, CISO, Contrast Security
Mythos был разработан с конкретной и узкой целью: находить уязвимости в кибербезопасности быстрее и более полно, чем человеческие исследователи. Компания Anthropic продемонстрировала его возможности, используя модель для выявления 27-летней уязвимости в OpenBSD, операционной системе, специально созданной для обеспечения безопасности. Впоследствии Mozilla использовала предварительную версию для обнаружения и устранения 271 уязвимости в Firefox. Это не теоретические возможности — это демонстрируемые, воспроизводимые результаты.
Модель была намеренно ограничена проверенной группой из 40 компаний, включая Microsoft, Apple и Google, каждая из которых согласилась с жёсткими правилами использования и протоколами безопасности. Однако в этих 40 компаниях тысячи отдельных сотрудников имели определённый уровень доступа. Подрядчик, обеспечивший начальную точку проникновения, был одним из этих тысяч. У специалистов по безопасности для этой проблемы есть своё название: площадь угрозы изнутри растёт с числом доверенных сторон, и доверие нельзя полностью проверить.
То, что делает утечку Mythos особенно значимой, заключается в том, что она показывает структурные проблемы развёртывания ответственного ИИ. Стандартная модель выпуска опасных технологий — будь то патогены четвертого уровня биологической безопасности, ядерные материалы или засекреченные данные — включает физическую изоляцию, строгий контроль доступа и серьёзные юридические последствия за несанкционированное раскрытие. Ни один из этих механизмов не применим напрямую к программному обеспечению.
Чем больше они добавляли новых членов в эту элитную группу, тем выше была вероятность того, что информация попадёт к кому-то, кто не должен иметь к ней доступ. Это было неизбежно.
Дэвид Линднер, CISO, Contrast Security
Нарушение также осложняет отношения Anthropic с её критиками. Сэм Альтман, генеральный директор OpenAI, публично охарактеризовал маркетинг Mythos компанией Anthropic как основанный на страхе, подразумевая, что компания преувеличивает опасность модели, чтобы привлечь внимание и оправдать свою ориентацию на безопасность. Инцидент несанкционированного доступа имеет двоякий эффект: он показывает, что модель реальна и достаточно способна, чтобы привлечь интерес со стороны специалистов, но также вызывает вопросы о том, соответствовала ли политика безопасности Anthropic серьёзности риска, с которым компания заявляла, что справляется.
Для команд корпоративной безопасности утечка Mythos является предварительным показом проблем, которые будут только усиливаться. По мере того как модели ИИ становятся более способными к автономным действиям — обнаружению уязвимостей, написанию эксплойтов, выполнению атак — вопрос о том, кто имеет доступ к этим возможностям, становится экзистенциальным. Текущая система, при которой компании, разрабатывающие ИИ, самостоятельно регулируют доступ через договорные соглашения, явно недостаточна.
Anthropic заявила, что расследует инцидент и работает с пострадавшими сторонами. Неавторизованные пользователи, по данным Bloomberg, не использовали модель в злонамеренных целях — они просто непрерывно использовали её после получения доступа. Это различие может иметь значение с юридической точки зрения, но мало помогает решить основную проблему архитектуры безопасности, которую выявила утечка.