Безопасность
Исследователи обнаружили, что передовые лаборатории ИИ не имеют четких публичных планов по сдерживанию недисциплинированных моделей
В отчете TechCrunch говорится, что ведущие разработчики ИИ предоставляют мало публичной информации о том, как они будут сдерживать модель, если она будет вести себя опасно или выйдет из-под контроля. Этот пробел вызывает вопросы о готовности к операциям в таких областях, как предотвращение, обнаружение, остановка, отзыв учетных данных, изоляция сети и восстановление.
Автор: Лео У ·
Передовые лаборатории ИИ опубликовали мало конкретной информации о том, как они будут обнаруживать и сдерживать модель, которая ведет себя непредсказуемо или выходит за рамки предполагаемых эксплуатационных границ, согласно исследованию, освещенному в отчете TechCrunch. Это открытие выявляет разрыв между обязательствами по обеспечению общественной безопасности и операционной прозрачностью в индустрии, которая стремится внедрять все более способные системы. Исследователи, изучавшие опубликованные материалы ведущих лабораторий, обнаружили скудное или полностью отсутствующее раскрытие информации о конкретных технических мерах, протоколах принятия решений и процедурах восстановления, которые будут активированы, если развернутая модель проявит опасное поведение или обойдет средства безопасности. Вопрос сдерживания разделяется на отдельные технические задачи. Профилактика включает ограничение того, к чему модель может получить доступ и что может делать до развертывания: ограничение вычислений во время вывода, сужение диапазона API, ограничение разрешений файловой системы, контроль исходящего сетевого трафика. Обнаружение требует систем, которые распознают, когда модель ведет себя за пределами допустимых параметров: мониторинг поведения, проверка выходных данных, обнаружение аномалий по сравнению с базовой производительностью. Остановка работы требует способности надежно прерывать выполнение: аварийные выключатели, отзыв ресурсов, завершение процессов. Отзыв учетных данных означает отзыв API-ключей, токенов аутентификации и учетных данных базы данных, чтобы скомпрометированная модель не могла перейти к другим системам. Сетевое изоляция включает отсечение сети или сегментацию модели от критической инфраструктуры. Восстановление включает восстановление сервиса из не скомпрометированных контрольных точек и расследование произошедшего.
Лаборатории, которые публиковали рамочные документы по безопасности, предлагают разные уровни конкретики. Рамки подготовки OpenAI описывают оценку и мониторинг на стратегическом уровне, но не раскрывают техническую реализацию изоляции в этих шести операционных областях. Политика ответственного масштабирования Anthropic обсуждает оценку рисков и меры предосторожности при развертывании в общих чертах. Ни один из документов, например, не указывает, какие учетные данные будут аннулированы при каких условиях, как будет обеспечиваться изоляция сети или какие процедуры восстановления существуют для различных сценариев сбоев. В отрасли существует прецедент для такого рода раскрытия информации. В области безопасности программного обеспечения регулярно публикуются модели угроз, поверхности атаки и оборонительная архитектура. Облачные поставщики документируют инструкции по реагированию на инциденты. Финансовые учреждения подают подробные планы непрерывности бизнеса регуляторам. Отсутствие аналогичной публичной документации со стороны лабораторий ИИ указывает либо на то, что процедуры сдерживания еще недостаточно развиты, либо на то, что лаборатории скрывают операционные детали по конкурентным или соображениям безопасности, либо на то и другое. Отчет TechCrunch документирует материалы, лежащие в основе этого отчета. Рамочная структура готовности OpenAI предоставляет полезную техническую информацию для оценки этого утверждения.
Сложность изоляции в масштабах проекта
Сдерживание становится труднее по мере того, как развернутые модели становятся более способными и более интегрированными в производственные системы. Модель, работающая на изолированном оборудовании с ограниченными правами, сталкивается с меньшим количеством путей для побега, чем та, которая выполняет чувствительные задачи в распределенной инфраструктуре. Тем не менее, реальное развертывание требует интеграции: доступ к API, чтение баз данных, взаимодействие с пользователями, ведение журналов, аналитика. Каждая точка интеграции является потенциальной поверхностью атаки. Исследователи, работающие над безопасностью LLM, задокументировали, что модели могут использовать подсказки для извлечения данных обучения, манипулировать выходными данными, чтобы вводить пользователей в заблуждение, или злоупотреблять разрешениями для доступа к ресурсам, к которым им не следует обращаться. Список OWASP Top 10 для приложений LLM каталогизирует уязвимости уровня приложения, специфичные для развертывания языковых моделей. Эти уязвимости сохраняются даже в лабораториях с сильными намерениями по обеспечению безопасности, поскольку они возникают из фундаментальных свойств того, как работают модели и как они взаимодействуют с системами. Операционная компромиссность также отражена в Политика ответственного масштабирования компании Anthropic.
Проблема сдерживания усугубляется, когда поведение модели само по себе неопределенно. Традиционное программное обеспечение выполняется детерминированно: вы можете проследить путь выполнения кода, проверить логику, надежно воспроизвести ошибки. Крупные языковые модели создают вероятностный вывод. Модель, обученная отвергать вредоносные запросы, все же может случайно или специально выполнить враждебные указания. Ее поведение на новых входных данных не полностью предсказуемо даже для ее создателей. Эта неопределенность усложняет обнаружение проблем: лаборатории должны различать ожидаемые отклонения и настоящие сбои. Это усложняет решения о завершении работы: лаборатории должны решать, насколько уверенными они должны быть перед завершением работы работающей системы, и ложные срабатывания имеют свои последствия. В более широком контексте, CISA безопасно по проекту описывает соответствующий стандарт или учреждение.
Регуляторный и промышленный контекст
Процедуры сдерживания не являются исключительно лабораторной проблемой. CISA, Агентство США по кибербезопасности и безопасности инфраструктуры, подчеркнуло принципы безопасного проектирования во всем критическом программном обеспечении. Рамочная структура кибербезопасности NIST предоставляет словарь для управления рисками безопасности, применимый к инфраструктуре ИИ. Ни одна из рамочных систем не требует конкретных процедур сдерживания ИИ, так как стандарты еще не сформировались. Лаборатории сохраняют свободу выбора подхода. Но по мере того как передовые модели переходят к реальному использованию, влияющему на настоящих пользователей и системы, разрыв между инженерной реальностью и публичным раскрытием становится риском.
Лаборатория, которая не может объяснить, как она бы сдержала сбой модели, не может правдоподобно заявлять, что она проектировала систему с учетом этого сбоя. Политики, оценивающие регулирование ИИ, не располагают техническими деталями, необходимыми для оценки того, являются ли существующие лабораторные практики адекватными, или требуется обязательное раскрытие информации или внешняя проверка. Отсутствие публичных планов по сдерживанию не означает, что у лабораторий нет внутренних процедур. Anthropic, OpenAI, Google, Meta и другие лаборатории нанимают инженеров по безопасности и поддерживают операционные инструкции. Эти процессы, вероятно, существуют, но остаются закрытыми. Вопрос заключается в том, оправдана ли конфиденциальность. Ограничение не является коммерческой тайной в том смысле, как весовые коэффициенты моделей или методы обучения. Это свойство безопасности: способность остановить систему от причинения вреда. Публичная ясность относительно ограничений позволила бы внешним исследователям проверять подход, выявлять пробелы и предлагать улучшения. Это дало бы пользователям и регуляторам уверенность в том, что лаборатории продумали сценарии отказов. Это установило бы базовые ожидания по всей отрасли. На данный момент передовые лаборатории продолжают использовать модели с процедурами ограничения, которые остаются в значительной степени непрозрачными. Результаты исследования не указывают на то, что какая-либо конкретная модель вышла за пределы своих назначенных функций или причинила вред из-за сбоя в ограничении. Но по мере того как развернутые передовые модели становятся более способными и широко используемыми, ставки, связанные с этой непрозрачностью, растут. Лаборатории сталкиваются с выбором: разрабатывать и документировать строгие возможности ограничения или принимать, что их утверждения о безопасности основаны на хрупкой технической основе. Последний момент можно проверить, сравнив с Топ-10 OWASP для приложений LLM.
Темы: Безопасность ИИ, передовые модели, безопасность, ограничение