Политика
Отставка директора CAISI оставляет Офис стандартов ИИ США без постоянного руководства
Отставка Криса Фалла из Центра стандартов и инноваций ИИ происходит в тот момент, когда Вашингтон пытается определить правила тестирования, оценки и надзора за продвинутыми системами ИИ.
Майкл С.
Федеральное ведомство, отвечающее за разработку возможностей тестирования и оценки ИИ, теряет своего директора в чувствительный момент для политики США в области ИИ. Крис Фолл, который возглавлял Министерство торговли Центр стандартов и инноваций в области ИИ , проработав примерно три месяца, увольняется, сообщил Axios после подтверждения от отдела. Директор NIST Арвинд Раман будет курировать CAISI и исполнять обязанности директора, пока офис ожидает постоянного сменщика. Уход имел бы значение в любом стандартном агентстве. Сейчас это особенно важно, поскольку Вашингтон пытается решить, как следует оценивать мощные системы ИИ, кто должен видеть результаты и что происходит, когда модель переходит в области кибербезопасности, биотехнологий, убеждения или национальной безопасности.
CAISI является реорганизованным преемником Американского института безопасности ИИ, и его миссия находится на стыке технического измерения и общественной ответственности. Он должен разрабатывать возможности тестирования и оценки, поддерживать стандарты для передовых систем ИИ и помогать правительству понимать системы, которые частные компании строят быстрее, чем обычное правоприменение может успеть. Уход Фолла не закрывает офис. Но это оставляет центр без постоянного руководства как раз тогда, когда передовые лаборатории, облачные провайдеры, разработчики открытых моделей, группы гражданского общества и представители национальной безопасности продвигают конкурирующие представления о надзоре.
Пробел в руководстве проявляется после недель необычного вмешательства правительства в доступ к моделям. Администрацион внимательно изучал релизы OpenAI и Anthropic, взвешивал вопросы экспортного контроля в отношении передовых моделей и сталкивался с давлением, чтобы определить, когда модель достаточно безопасна для широкого общественного использования. Проблема в том, что работа по стандартам по замыслу медленная, тогда как развертывание моделей быстро по необходимости для бизнеса. Стабильный технический офис может превратить панику в процедуры. Временная структура руководства все еще может выполнять полезную работу, но рискует стать реактивной именно в тот момент, когда отрасли нужны предсказуемые правила.
Существует техническая причина, по которой руководящие органы имеют значение. Оценка — это не один единственный показатель. Серьезная служба стандартов ИИ должна определить, как тестировать агенты, работающие на длинных горизонтах, киберспособности, автономность моделей, устойчивость к взлому, риск обмана, утечку данных, предвзятость, надежность и сопротивляемость злоупотреблениям. Также она должна решить, как результаты будут распространяться. Публичное раскрытие может повысить подотчетность, но некоторые данные о кибер- или биологических способностях могут быть слишком чувствительными, чтобы публиковать их полностью. Промышленность будет требовать конфиденциальности. Общественные организации будут требовать прозрачности. Служба нуждается в власти и авторитете, чтобы сбалансировать оба аспекта.
Промежуточная роль Рамана предоставляет CAISI опытного руководителя по стандартам, но не устраняет неопределённость в политике. NIST может обеспечить техническую дисциплину, однако более широкая повестка в области ИИ формируется Белым домом, Министерством торговли, ведомствами национальной безопасности, Конгрессом, штатами и судами. У каждого актера свои стимулы. Штаты хотят защиты потребителей и безопасности. Федеральные чиновники стремятся к национальному лидерству и безопасности. Лаборатории хотят предсказуемых путей одобрения. Сторонники открытого программного обеспечения опасаются, что строгие режимы закрепят позиции нынешних игроков. Режиссеру приходится справляться со всем этим, при этом сохраняя научную достоверность измерения.
Риск для компаний заключается в том, что образуется вакуум, заполняемый случайными решениями. Если доступ к моделям определяется в каждом случае индивидуально, фирмы не могут планировать выпуски, клиенты не могут понять основу ограничений, а меньшие разработчики не могут знать, применяются ли к ним те же стандарты, что и к крупнейшим лабораториям. Президент Microsoft Брэд Смит и другие представители отрасли уже предупреждали, что непрозрачная политика в сфере ИИ усложняет бизнес-планирование. CAISI должен был помочь создать более понятную техническую основу. Переход руководства усложняет эту задачу, но не делает её невозможной.
Ставки выходят за пределы Соединенных Штатов. Другие правительства создают институты безопасности ИИ, стандартизирующие органы и регулирующие учреждения. Европейский Союз внедряет свой закон об ИИ. Институт безопасности ИИ Великобритании стал ключевым игроком в оценке моделей. Китай продвигает собственное видение управления ИИ, расширяя распространение открытых моделей. Если США хотят устанавливать глобальные нормы, им нужен федеральный офис, способный производить надежную техническую работу и координировать действия с союзниками. Частая смена руководства ослабляет этот месседж, особенно когда технология переходит от чат-ботов к агентам, способным действовать через код, сети и научные рабочие процессы.
Постоянный директор унаследует проблему измерения, которая еще не решена. Оценки передовых моделей должны охватывать обычную точность, но также использование инструментов, автономное планирование, киберпроведение, биологические знания, убеждение, утечку конфиденциальной информации и устойчивость к отказу. Многие из этих возможностей не укладываются аккуратно в таблицу показателей. Они требуют разработки сценариев, операций красной команды, экспертных суждений и повторяемых протоколов, которые могут выдержать проверку со стороны компаний, ученых и государственных чиновников. Задача CAISI заключается в том, чтобы превратить спорные концепции безопасности в тесты, которые достаточно строгие, чтобы иметь значение, и достаточно практичные, чтобы их можно было провести до того, как решения о развертывании уже станут устаревшими.
Офису также необходимо решить, что считается доказательством. Модель может пройти публичный бенчмарк и при этом не справиться в реальном рабочем процессе агента. Она может отказаться выполнять небезопасный запрос в окне чата, но согласиться, если контекст изменяется с помощью обертки инструмента или системного запроса. Её поведение может измениться после дообучения, использования механизма поиска или интеграции в корпоративную среду. Поэтому работа по стандартам должна учитывать модели и их внедрение, а не только карточки моделей. Если CAISI оценивает базовую систему, в то время как компании выпускают продукты с агентскими функциями на её основе, у публики будет лишь частичная картина.
Правила раскрытия информации будут одной из самых сложных проблем. Компании не хотят, чтобы результаты чувствительной оценки, не выпущенные возможности или выявленные уязвимости становились публичными таким образом, который мог бы помочь злоумышленникам или конкурентам. Группы гражданского общества не хотят, чтобы тестирование безопасности исчезло за рамками соглашений о конфиденциальности. Надежный офис должен найти средний путь: достаточно публичных отчетов для создания доверия, достаточно защищенных каналов для опасных находок и достаточно независимой проверки, чтобы процесс не был просто самоутверждением с федеральной маркировкой. Руководство имеет значение, потому что эти нормы обговариваются до того, как становятся обычной практикой.
CAISI также находится в более широкой федеральной системе, которая по своей природе не является быстрой. Правила закупок, ограничения на найм, межведомственные проверки, границы классификации и бюджетные циклы формируют то, что офис может делать. Продвинутая оценка ИИ требует редких специалистов, доступа к вычислительным ресурсам, безопасной среды и связей с лабораториями, которые могут неохотно замедлять запуск продуктов. Директор должен развивать технический потенциал, одновременно управляя политическими ожиданиями. Это означает набор людей, которые могут глубоко понимать передовые системы, чтобы ставить под сомнение работу поставщиков, а не только тех, кто может координировать подготовку политических документов.
Открытый вопрос модели проверит офис заранее. Некоторые политики обеспокоены тем, что широко доступные мощные модели могут быть модифицированы для киберпреступлений, биологического проектирования или дезинформации. Сторонники открытого исходного кода утверждают, что доступ поддерживает исследования, конкуренцию, прозрачность и оборонительное использование. Стандарты не могут решить этот политический вопрос в одиночку, но они могут сделать его более конкретным. Вместо того чтобы обсуждать открытый доступ в абстрактной форме, CAISI может определить пороговые показатели возможностей, методы оценки, практики смягчения и ожидания мониторинга, которые помогут отличить обычные публикации от систем повышенного риска.
Офис также должен будет работать с промышленностью, не становясь при этом зависимым от нее. Пионерские лаборатории хранят модели, журналы, внутренние оценки и контекст развертывания. Государственные оценщики нуждаются в доступе к этой информации, чтобы понимать риски. Но если единственные тестовые среды контролируются поставщиками, общественные стандарты будут лишены независимости. Долгосрочная репутация CAISI будет зависеть от создания собственной безопасной тестовой инфраструктуры, сотрудничества с внешними исследователями и разработки процедур, которые позволят компаниям участвовать, не устанавливая правила для себя.
Финансирование и персонал определят, сможет ли CAISI делать больше, чем просто собирать людей. Оценка продвинутых систем требует исследователей машинного обучения, инженеров по безопасности, экспертов в области биобезопасности, социальных ученых, статистиков, операторов инфраструктуры, юристов по политике и людей, которые понимают, как модели фактически внедряются. Частный сектор часто может платить больше за тот же талант. Постоянный директор будет нуждаться в полномочиях по найму, стипендиях, внешних партнерствах и достаточном бюджете для создания защищенных тестовых сред. Без этой возможности офис рискует стать посредником информации, предоставляемой поставщиками, а не независимым оценщиком.
Центр также должен определить свои отношения с чрезвычайными происшествиями. Если система ИИ вызывает реальное событие, связанное с безопасностью, распространяет вредоносные рекомендации или демонстрирует неожиданную опасную способность, кто получает отчет и что происходит дальше? В Соединенных Штатах существуют зрелые каналы реагирования на инциденты в области кибербезопасности, но инциденты с ИИ могут сочетать вопросы безопасности продукта, национальной безопасности, защиты прав потребителей и гражданских прав. CAISI мог бы помочь создать шаблоны отчетов и пути эскалации, но ему потребуется четкая полномочия и координация с агентствами, которые уже владеют частями этой проблемы.
Государственная политика усложнит ситуацию. Калифорния, Нью-Йорк и другие штаты уже приняли меры или рассматривали возможность принятия правил в области ИИ, в то время как федеральная политика остается нестабильной. Компании предпочитают национальную систему, но штаты часто действуют, когда действия Вашингтона замедляются. CAISI не может самостоятельно превалировать над законами штатов. То, что она может сделать — это предоставить технические стандарты, к которым могут обращаться штаты, суды и федеральные агентства. Чем сильнее и более достоверной будет эта работа, тем выше вероятность, что она станет стабилизирующим фактором в фрагментированной регуляторной среде.
Офису также необходимо будет поддерживать доверие со стороны исследователей открытого кода и небольших компаний. Если доступ к оценке и стандарты будут разработаны исключительно с учетом крупнейших передовых лабораторий, эта система будет выглядеть как защита действующих компаний. Небольшим разработчикам нужны четкие рекомендации, соразмерные обязательства и публичные инструменты, которые они могут использовать для тестирования собственных систем. Цель должна заключаться в повышении уровня безопасности во всей экосистеме, а не только в создании привилегированного канала переговоров между государством и крупнейшими поставщиками моделей.
Уход Фолла не решает ни один из этих вопросов, но время влияет на импульс. Новый офис строит авторитет через ранние привычки: что он публикует, как он справляется с разногласиями, кого нанимает, как быстро отвечает и доверяют ли его работе внешние эксперты. Переход лидерства может быть безвредным, если институт уже зрелый. CAISI еще не зрелый. Это делает следующее назначение более значимым, чем обычное кадровое перемещение внутри бюрократии стандартов.
Компании будут следить за тем, станет ли CAISI предварительным «стражем ворот», издателем стандартов, исследовательским партнёром или какой-либо комбинацией этих трёх ролей. Каждая роль несёт разные последствия. «Страж ворот» может замедлять запуски, но при этом обеспечивать более ясные публичные гарантии. Издатель стандартов может влиять на рынок, не утверждая отдельные продукты. Исследовательский партнёр может повышать качество оценок, но ему может не хватать полномочий для принуждения. Публичная миссия офиса оставляет место для всех трёх ролей, но директору придётся пояснить, как они сочетаются.
Группы гражданского общества будут добиваться ответственности за предвзятость, соблюдение гражданских прав, влияние на работников и внедрение в государственном секторе, а не только за катастрофические или национально-значимые риски. Это может превысить технические возможности CAISI, если офис попытается взять на себя все вопросы, связанные с ИИ. Устойчивой институции потребуются границы. Она может предоставлять научные методы измерения и оценки, одновременно координируясь с другими агентствами, ответственными за дискриминацию, защиту прав потребителей, труд, образование и здравоохранение. Четкие границы — это не шаг назад; это способ для технического офиса избежать превращения в перегруженную политическую организацию, которая охватывает всё подряд.
Смена руководства также происходит на фоне того, что системы ИИ становятся всё труднее определить. Продукт может сочетать в себе несколько моделей, системы поиска, соединители инструментов, память, пользовательские разрешения и автономное планирование. Оценивать отдельный снимок модели проще, чем оценивать всю систему целиком. Стандарты CAISI должны будут эволюционировать от тестирования, ориентированного на модель, к обеспечению, учитывающему развертывание. В противном случае компания может пройти оценку модели и при этом выпустить рискованный агентский рабочий процесс вокруг неё. Следующему директору придётся явно обозначить этот сдвиг.
Немедленная угроза заключается не в том, что работа над всеми стандартами остановится. Постоянный персонал, руководство NIST и партнерские агентства могут поддерживать движение проектов. Риск заключается в том, что офис потеряет способность принимать трудные решения о приоритетах, пока формируется политическая среда. Каждый метод оценки, шаблон отчета и соглашение о сотрудничестве, созданные сейчас, могут стать прецедентом. Постоянный директор сможет решить, какие прецеденты устанавливать сознательно. Временная структура может избежать противоречий, но избегание само по себе может стать политикой, когда лаборатории на переднем крае продолжают выпускать модели, агенты и специализированные системы быстрее, чем правительство может реагировать.
Следующий директор, следовательно, должен быть больше, чем символическим назначением. Эта роль требует человека, который может заслужить уважение у технических исследователей, руководителей отрасли, представителей национальной безопасности, критиков из гражданского общества и международных партнеров. Это редкое сочетание качеств. Директор, слишком близкий к отрасли, может столкнуться с проблемами доверия со стороны общественности. Директор, не обладающий техническим авторитетом, может испытывать трудности с тем, чтобы ставить вызовы лабораториям. Директор, который рассматривает работу как обычное управление стандартами, может недооценивать, насколько быстро меняются базовые системы.
Вот почему вакансия имеет значение, даже если департамент быстро назначит замену. Ранние институциональные решения определят, станет ли CAISI надежным органом по измерениям или очередным оспариваемым политическим офисом. Следующие несколько месяцев сформируют его репутацию и практическое влияние на лаборатории, которые ему предстоит оценивать.
Международная координация добавляет еще один уровень. Если Соединенные Штаты, Великобритания, Европейский Союз, Япония и другие союзники будут использовать несовместимые методы оценки, компаниям придется сталкиваться с фрагментированным соблюдением норм, а правительствам будет сложно сравнивать результаты. Если координация будет слишком слабой, практическим стандартом может стать самый слабый режим. CAISI может помочь создать общий технический язык для оценки возможностей моделей, отчетности о происшествиях, снижения риска и обеспечения развертывания. Это сделает лидерство США более устойчивым, чем речи о доминировании в сфере ИИ, потому что даст союзникам что-то практическое для внедрения.
Существует также проблема общественного доверия. Многие избиратели слышат о безопасности ИИ и думают о спекулятивных будущих вредах, в то время как компании воспринимают это как возможное препятствие для цикла разработки продуктов. Офис стандартов должен показать, что его работа основана на реальных системах и реальных режимах отказа: небезопасное использование инструментов, плохие медицинские советы, ненадежная гражданская информация, вредная автоматизация, утечки конфиденциальных данных и модели, которые могут помогать злоумышленникам. Если CAISI сможет связать стандарты с видимыми вредами и практическими мерами их устранения, будет сложнее отмахнуться от них как от бюрократии или паникёрства.
Министерство торговли заявило, что ожидает назначения нового директора в ближайшие недели, а представитель министерства сообщил Axios, что роль Фалла всегда была временной. Это может быть правдой, но рынок будет судить о переходе по тому, что последует дальше. Сильная замена должна прояснить, как CAISI будет оценивать передовые возможности, как она будет сотрудничать с лабораториями до и после выпусков, как она будет обрабатывать чувствительные выводы и как предотвратит превращение в либо формальный утвердительный орган для индустрии, либо политическое узкое место.
Стандарты ИИ часто обсуждаются так, как будто это бумажная работа. Они становятся инфраструктурой. Они определяют, могут ли правительства сравнивать модели, могут ли компании доказывать наличие мер защиты, могут ли клиенты доверять внедрению, и обрабатываются ли рискованные возможности с повторяемыми мерами контроля вместо импровизации. Следовательно, пробел в руководстве CAISI — это не просто кадровая ремарка. Это проверка того, сможет ли Вашингтон создать долговечные институты управления ИИ в то время как системы, которыми они управляют, продолжают становиться быстрее, дешевле и более автономными.
Темы: CAISI, NIST, стандарты ИИ, Министерство торговли