Исследование
Google DeepMind запускает первую двойную слепую оценку Frontier AI
Google DeepMind тестирует модель Gemini Flash Lite на конфиденциальных эталонах в криптографически защищённой среде. Пилотный проект направлен на предотвращение нарушения целостности тестов с высокими ставками как со стороны разработчиков моделей, так и со стороны оценщиков.
Майкл Г ·
Google DeepMind начал то, что он описывает как первую двойную слепую оценку проприетарной модели ИИ передового класса, используя криптографическую инфраструктуру, предназначенную для того, чтобы ни разработчик модели, ни внешние оценщики не могли видеть информацию, которая могла бы скомпрометировать тест. Пилотный проект проведет модель Gemini Flash Lite против конфиденциальных эталонов, предоставленных через Singapore AI Safety Institute, OpenMined, AVERI и MLCommons. Цель проста и сложна одновременно: получить результат, который ни одна сторона не сможет тихо оптимизировать заранее.
Загрязнение бенчмарков стало центральной проблемой в оценке моделей. Публичные тестовые вопросы, решения и почти одинаковые варианты могут попасть в тренировочные данные. Разработчики также могут настраивать системы с учетом известных бенчмарков, намеренно или нет, до тех пор, пока результат не будет отражать знакомство с экзаменом, а не общие способности. Сохранение бенчмарка в тайне защищает от некоторого утечки, но требует от оценщиков доверия к тому, что подсказки, результаты и доступ к модели обрабатываются точно так, как обещано. Пилот DeepMind добавляет технические меры в контракты и обязательства по нулевому логированию.
Метод «двойного слепого» является аналогией экспериментальной практики, а не утверждением о том, что все влияния были устранены. Оценщики не должны узнавать конфиденциальные детали модели, которые могут вызвать предвзятость или раскрыть систему. Разработчики модели не должны видеть конфиденциальное содержимое теста, которое может повлиять на обучение. Защищённая среда выполнения обеспечивает посредничество во встрече, позволяя эталонному тесту достигать модели и результатам — оценщика, без того чтобы какая-либо из сторон получила чувствительные данные другой стороны в обычной форме.
Это разделение имеет наибольшее значение, когда тест охватывает опасные или коммерчески чувствительные возможности. Кибер-бенчмарк может содержать пути эксплуатации, которые не должны распространяться. Биологическая оценка может включать процедуры, требующие контролируемого доступа. Компания может отказаться от внешнего тестирования, если считает, что оценщики могут извлечь веса модели или системные подсказки. Конфиденциальные вычисления могут снизить эти опасения и сделать независимую оценку возможной там, где общая электронная таблица или удаленный API были бы невозможны.
Криптография защищает границы теста
Пилот использует среду, обеспечивающую конфиденциальность, поддерживаемую технологией конфиденциальных вычислений Google. Общая модель заключается в защите данных во время их обработки, а не только при хранении или передаче. Аппаратная проверка подлинности может продемонстрировать, что одобренный код выполняется внутри определенной среды, прежде чем любая из сторон передаст свои защищенные данные. Шифрование и контроль доступа затем ограничивают то, что администраторы или другие сервисы могут наблюдать. Бенчмарк и модель находятся внутри изолированной среды, состояние которой можно проверить.
Это не делает устройство безошибочным. Аппаратное обеспечение и программное обеспечение для оркестрации могут содержать уязвимости. Побочные каналы могут раскрывать шаблоны времени или использования ресурсов. Аттестация доказывает, что выполняется конкретная среда, а не то, что сам бенчмарк хорошо спроектирован. Система все равно нуждается в моделировании угроз, проверке кода, воспроизводимой конфигурации и плане действий на случай выявления проблемы безопасности. Криптография укрепляет целостность оценки; она не заменяет научное суждение.
OpenMined обладает опытом создания инфраструктуры, сохраняющей конфиденциальность, для внешнего доступа к моделям. AVERI и MLCommons вносят экспертные знания в области оценки и бенчмаркинга, в то время как AISI из Сингапура добавляет независимый институт, ориентированный на общественные интересы. Партнерство важно, потому что ни один актор не должен определять весь процесс целиком. Компания, разрабатывающая модель, может обеспечить безопасность своей системы, оценщик может разработать тест, а общественный институт может устанавливать цели политики. Доверие улучшается, когда эти обязанности остаются разделёнными и подлежащими проверке.
Первая модель — это система Gemini Flash Lite, а не самая мощная не выпущенная модель, которую мог бы выбрать DeepMind. Меньший пилотный проект имеет смысл, потому что сам протокол нуждается в тестировании. Команды могут проверить поток данных, оценку, доступ и восстановление после сбоев до того, как использовать метод для систем с более высоким уровнем риска. Успешный запуск покажет, что механизм работает при определённых условиях. Это не подтвердит, что все передовые оценки должны немедленно переноситься в ту же среду.
Валидность оценки по-прежнему зависит от того, что измеряет эталон. Конфиденциальные вопросы могут быть узкими, культурно предвзятыми или несвязанными с внедрением. Модель может успешно выполнять контролируемую киберзадачу и вести себя по-другому, когда у нее есть больше времени, инструментов или обратная связь от пользователя. Двойное слепое тестирование снижает риск искажения и стратегической подготовки. Оно не устраняет разрыв между эталоном и реальной системой, работающей в реальной организации.
Метод изменяет стимулы для лабораторий и оценщиков
У разработчиков моделей есть коммерческий стимул демонстрировать сильные результаты и стимул по безопасности ограничивать внешний доступ. У оценщиков есть стимул публиковать полезные выводы и защищать уникальность своих тестов. Эти цели могут вступать в противоречие. Безопасная слепая среда делает сотрудничество менее зависимым от личного доверия. Она может позволить лаборатории продемонстрировать производительность без получения экзамена, в то время как оценщик может протестировать собственную систему без взятия модели на хранение.
Этот подход также может продлить полезный срок службы бенчмарков. Как только публичный тест становится популярной таблицей лидеров, тренировочные наборы данных и посттренировочные пайплайны начинают на него ориентироваться. Оценки растут, в то время как способность теста различать системы снижается. Конфиденциальные наборы могут менять вопросы и показывать агрегированные результаты без публикации каждого элемента. Это создает работу по поддержке и требует управления тем, кто может вносить, проверять и выводить тесты из использования. Это все же предпочтительнее, чем притворяться, что широко скребленный бенчмарк остается нетронутым.
Публичная подотчетность требует достаточного раскрытия информации для понимания результата. Оценка в закрытой среде может стать новой формой авторитета, который сторонним лицам предлагают принять, не видя тест. Оценщики должны публиковать область возможностей, методологию, выборку, правила начисления баллов, неопределенности и ограничения, защищая при этом конфиденциальные задания. Независимое воспроизведение другой утвержденной организацией может повысить доверие. Конфиденциальность должна защищать целостность, а не препятствовать критике.
Политические агентства могут использовать этот метод для предразвертываемого обзора, особенно там, где правительства хотят гарантии, не требуя предоставления весов модели. Национальный институт безопасности мог бы проводить стандартизированные тесты в защищённой среде и получать подписанные результаты. Поставщик мог бы проверять код и условия, не видя сами элементы. Такой процесс всё равно потребует законных полномочий, правил обработки данных и соглашения о том, что происходит, когда модель превышает порог риска.
Доверенный рейтинг требует доверенного процесса принятия решений
Самый сложный вопрос начинается после оценки. Если модель демонстрирует неожиданно хорошие результаты по опасной способности, кто может задержать выпуск, потребовать мер по снижению рисков или запросить дополнительный тест? Криптографическая целостность может показать, что результат не был подделан. Она не может определить, какой уровень производительности является приемлемым. Лабораториям и правительствам необходимо установить пороговые политики до получения результатов, иначе неожиданный исход вызовет переговоры под коммерческим давлением.
Среда должна сохранять журнал аудита, охватывающий версии программного обеспечения, идентификаторы моделей, версии тестов и код оценки. Эта запись позволяет исследователям воспроизвести спорный результат, не раскрывая при этом защищённый контент в широком доступе. Она также предотвращает возможность замены лабораторией безопасной модели для оценки и использования другой модели на практике. Идентичность модели и её конфигурация являются частью эксперимента. Небольшие изменения в инструментах, подсказках или слоях безопасности могут вызвать принципиально иное поведение.
Затраты будут определять, распространится ли этот подход. Конфиденциальные среды, поддерживаемые аппаратно, независимые учреждения и поддержание бенчмарков требуют инженерных решений и управления. Крупные передовые лаборатории могут платить за это. Меньшим разработчикам и академическим командам может понадобиться общая инфраструктура или субсидированный доступ. Стандарт безопасности, который могут выполнить только самые богатые компании, может укрепить позиции действующих игроков, не улучшая оценку по всему рынку. Открытые протоколы и совместимые инструменты могут снизить этот риск.
Пилотный проект DeepMind ценен тем, что рассматривает оценку как проблему безопасности и институциональную проблему, а не просто как набор подсказок. Эталон должен оставаться конфиденциальным, модель должна оставаться защищённой, и результат должен оставаться достоверным для людей за пределами обеих организаций. Для достижения всех трёх условий необходимы архитектура, контракты и независимый надзор. Эксперимент будет оцениваться по тому, смогут ли другие оценщики воспроизвести протокол и объясняют ли опубликованные результаты достаточно, чтобы поддерживать внимательное изучение.
Участникам бенчмарка потребуются правила для предотвращения конфликта интересов. Организация, которая помогает составлять тест, также может давать консультации компании, занимающейся моделями, или получать от нее финансирование. Инфраструктура с двойным слепым тестированием может скрывать подсказки, не устраняя институциональные стимулы. Управление должно раскрывать взаимоотношения, чередовать рецензентов и не допускать, чтобы один участник определял, как оцениваются его собственные задания. Технически идеальный тест все равно может потерять доверие, если люди, его интерпретирующие, не являются независимыми.
Статистический дизайн заслуживает такого же внимания. Конфиденциальные тесты часто содержат меньше заданий, так как их создание и защита обходятся дорого. Малые выборки создают большую неопределённость и делают результаты чувствительными к формулировке вопросов или случайным вариациям. В отчётах следует включать доверительные интервалы, повторные запуски и анализ категорий неудач, а не один сводный балл. Политические деятели должны знать, был ли порог явно превышен или результат находится в пределах шума измерений.
Протокол также должен защищать от выборочного раскрытия информации. Лаборатория может представить модель для нескольких конфиденциальных оценок и обнародовать только благоприятный результат. Реестр завершенных тестов, включая удерживаемые или неокончательные результаты, мог бы снизить такую предвзятость при защите конфиденциальной информации. Регулирующие органы могут потребовать более полного отчета для релизов высокого риска. Добровольные участники должны объяснить, представляет ли опубликованный результат весь согласованный набор тестов или только подмножество, выбранное после того, как результаты стали известны.
Международная совместимость может предотвратить дублирование нагрузки. Национальные институты могут разрабатывать разные конфиденциальные эталонные показатели для схожих рисков, вынуждая лаборатории повторять дорогостоящие оценки и затрудняя сравнение результатов. Общие форматы аттестации и единые поля для отчетности позволили бы учреждениям признавать безопасные процессы друг друга, сохраняя при этом местные нормативные пороги. Участие Сингапура предоставляет пилотному проекту полезную трансграничную среду, а не превращает его исключительно во внутреннее упражнение Google.
После внедрения мониторинг должен быть связан с запечатанным эталоном. Если реальные пользователи обнаружат сбой, который тест пропустил, оценщики могут добавить защищённый элемент без публикации уязвимости. Будущие версии смогут затем измерять, работает ли исправление. Это создаёт живую оценку, а не одноразовый экзамен. Правила доступа должны предотвращать возможность того, чтобы разработчик модели выявлял новые элементы через повторные проверки, что может потребовать ограничения частоты и контролируемого планирования повторных тестов.
Передовые модели всё чаще оцениваются в средах, где у каждого есть что-то важное, что нужно скрыть: фирменные системы, опасные задачи, неопубликованные методы или чувствительные ошибки. Секретность может разрушить доверие, если она блокирует проверку. Она также может сохранить доверие, если предотвращает утечку экзамена. Двойное слепое тестирование — это попытка очертить эту границу с помощью технологий. Его успех будет зависеть меньше от фразы "первый в своём роде", чем от того, создаёт ли закрытый тест доказательства, которые учреждения действительно могут использовать.
Темы: Google DeepMind, оценка ИИ, бенчмарки, конфиденциальные вычисления, безопасность ИИ