Политика
Пол Кристиано присоединился к Совету Фонда OpenAI и Комитету по безопасности
Исследователь по согласованию и советник правительства присоединится к некоммерческому совету OpenAI и Комитету по безопасности, добавляя технически скептический голос в структуру, которая контролирует корпорацию общественной пользы компании.
Майкл С.
САН-ФРАНЦИСКО. Исследователь в области выравнивания Пол Кристиано присоединяется к Совету Фонда OpenAI и его Комитету по вопросам безопасности, помещая одного из самых известных защитников подготовки к катастрофическому риску ИИ внутри некоммерческой организации, которая управляет коммерческой общественно-полезной корпорацией OpenAI. Он также будет выступать в качестве наблюдателя без права голоса в совете директоров OpenAI Group PBC.
Назначение является решением в области управления, а не церемониальной консультативной ролью. OpenAI заявляет, что комитет контролирует практики безопасности и защиты по всей организации, включая коммерческую группу, которая разрабатывает и внедряет передовые модели. Влияние Кристиано будет зависеть от доступа комитета к доказательствам и его способности влиять на решения о выпуске, но его приход дает совету участника, чья карьера была сосредоточена на вопросах о том, достаточно ли текущих мер безопасности.
Технический критик переходит внутрь структуры
Кристиано возглавлял исследования выравнивания в OpenAI с 2017 по 2021 год и внес вклад в фундаментальную работу по обучению с подкреплением с обратной связью от человека. Позже он основал Центр исследований выравнивания, который изучает, как передовые системы могут оставаться направленными на интересы человека. Его работа часто сосредоточена на масштабируемом контроле: как люди могут оценивать системы, которые могут выполнять задачи, слишком сложные, чтобы рецензент мог проверить их напрямую.
Он также приносит правительственный опыт из Центра стандартов и инноваций в области ИИ при Национальном институте стандартов и технологий и его предшественника, Института безопасности ИИ США. OpenAI заявила, что эта работа включала оценки передовых возможностей с последствиями для национальной безопасности. Компания отметила, что Кристиано будет отстраняться от вопросов, связанных с OpenAI, а также от оценок моделей в своей роли старшего технического советника.
Отведение необходимо, потому что назначение стирает дистанцию между регулятором, оценщиком и компанией. Техническая экспертиза часто перемещается между правительством и промышленностью, и эта циркуляция может улучшать работу государственных институтов. Она также может создавать конфликты или впечатление слишком тесного контроля над организациями, которые оцениваются. Ясное раскрытие информации и документированное отведение важны так же, как биография любого отдельного члена.
Управление OpenAI имело необычное значение с момента её основания, поскольку миссия некоммерческой организации стоит выше бизнеса с огромными капитальными требованиями. Фонд заявляет, что сохраняет контроль и значительную долю участия в OpenAI Group PBC. Такая конструкция предназначена для защиты общественно-полезной цели, позволяя при этом компании привлекать капитал и конкурировать. Она также требует от директоров согласовывать решения по безопасности с коммерческим развитием внутри одной корпоративной семьи.
Комитет будет оцениваться во время релиза
Комитет по безопасности может поручать проведение оценок, просматривать политики и требовать мер по снижению рисков. Его реальная власть становится заметной, когда модель имеет коммерческую ценность, а доказательства неоднозначны. Ключевые вопросы заключаются в том, получают ли члены необработанные результаты тестов, могут ли они запросить внешнюю проверку и могут ли их возражения задержать запуск. Названия должностей не отвечают на эти вопросы. На них отвечают процедуры и решения.
Кристиано утверждал, что продвинутый ИИ может создавать риски, с которыми текущие институты не готовы справляться. Эта точка зрения может усилить контроль, но она не решает практических споров о порогах, доказательствах или соразмерности. Совет должен учитывать серьезные маловероятные опасности наряду с текущими вредами, такими как дискриминация, мошенничество, нарушения в трудовой сфере и утрата конфиденциальности. Техническое согласование является одной из составляющих этой более широкой ответственности.
Назначение следует за рекапитализацией OpenAI в 2025 году, которая, по словам компании, была рассмотрена генеральными прокурорами Калифорнии и Делавэра. Эти офисы помогли сформировать обязательства вокруг контроля Фонда. Полученная договорённость теперь будет проверяться решениями, а не организационными схемами. Независимые наблюдатели будут искать доказательства того, что некоммерческая организация может получать информацию и принимать решения до того, как коммерческая группа создаст необратимый факт.
Фонд также финансирует научные открытия, инициативы гражданского общества и программы повышения устойчивости. Эти гранты могут приносить общественную пользу, но филантропию не следует путать с управлением. Особое обязательство совета директоров заключается в контроле за учреждением, которое разрабатывает технологии. Таким образом, Комитет по безопасности и защите имеет наибольшее значение тогда, когда его советы неудобны.
Назначение Кристиано дает OpenAI технически серьезный голос с опытом работы с обеих сторон государственной и частной сферы. Это также повышает стандарт, по которому будет оцениваться комитет. Если группа обладает полномочиями, общественность в конечном итоге должна увидеть, как эти полномочия повлияли на решение. Если же нет, добавление еще одного уважаемого имени не решит основную проблему управления.
Темы: Пол Кристиано, OpenAI, управление ИИ, согласование ИИ, NIST