Политика
Инсайдеры индустрии ИИ предупреждают Городской совет Нью-Йорка о сбоях в безопасности
Бывшие сотрудники OpenAI, Anthropic и Google DeepMind рассказали законодателям Нью-Йорка, что передовые системы развиваются быстрее, чем компании могут их надежно контролировать. Это слушание показывает, что местные органы власти вовлекаются в дебаты, которые ранее в основном велись в Вашингтоне и национальными регуляторами.
Майкл С.
Освещение слушаний Совета города агентством Associated Press сообщает, что бывшие сотрудники ведущих лабораторий ИИ предупредили Совет города Нью-Йорка о том, что компании спешат создавать системы, которые они не полностью понимают, как контролировать.
Слушания полного состава Совета включали свидетельства о внутренних мотивациях, защите информаторов и трудностях тестирования всё более способных систем до их выпуска.
Среди свидетелей были люди, недавно работавшие в Anthropic, OpenAI и Google DeepMind, что дало членам Совета представление изнутри организаций, которые взяли на себя обязательства по безопасности.
Их показания не установили, что катастрофический сбой неизбежен, но оспорили предположение, что добровольные процессы компании обеспечивают достаточную независимую проверку.
Что изменилось
Нью-Йорк не может устанавливать национальные правила обучения моделей, однако город контролирует закупки, общественные услуги, трудовую практику и защиту прав потребителей, что может влиять на то, как ИИ достигает миллионов жителей.
Местные законодатели должны различать опасности, с которыми они могут справиться напрямую, и вопросы, требующие координации на уровне штата, федерального или международного.
Городское правило может требовать документации воздействия или проверки человеком в муниципальных системах, тогда как стандарт обучения на передовом уровне зависит от доказательств и полномочий, которыми местное агентство может не обладать.
Заседание также выявило проблему управления внутри компаний ИИ: сотрудники могут заметить тревожное поведение раньше регуляторов, но публичное выступление может повлечь за собой юридические и профессиональные риски.
Эффективная защита информаторов требует большего, чем просто почтовый ящик для отчетности. Сотрудникам нужен защищенный путь для сохранения технических доказательств, обращения к независимым экспертам и выражения опасений до того, как решение о запуске станет необратимым.
Следующее испытание состоит в том, удастся ли совету превратить общие предупреждения в конкретно прописанные обязательства, которые можно будет проверять без замораживания полезных экспериментов в неродственных приложениях.
Расследование не является установлением вины. Это требование доказательств, и это различие имеет значение, когда быстро развивающийся рынок может превратить внимание регуляторов в вердикт до того, как факты станут общедоступными.
Существующее законодательство о защите прав потребителей может охватывать претензии безопасности, надёжности и поведения продукта без нового закона об ИИ. Сложный вопрос заключается в том, как эти стандарты применяются к системам, действия которых могут меняться в зависимости от контекста.
Регуляторам необходимы технические специалисты и безопасный доступ для оценки журналов, методов тестирования и внутренних контролей без необходимости заставлять компании публиковать конфиденциальные сведения о безопасности.
Опубликованные Федеральной торговой комиссией рекомендации по искусственному интеллекту неоднократно предупреждали компании о том, что техническая сложность не оправдывает неподтвержденные утверждения о точности, справедливости или безопасности.
С Рамка управления рисками ИИ NIST предоставляет добровольный справочник для документирования рисков и контроля, но его ценность в ходе расследования зависит от того, сможет ли компания предоставить доказательства того, что процесс фактически был выполнен.
Институциональная легитимность зависит от видимой цепочки ответственности. Компании могут использовать передовые системы для поддержки принятия решений, но ответственные лица всё равно должны объяснять правила, сохранять возможность для оспаривания и исправлять ущерб, когда средства защиты не срабатывают.
Доказательства, за которыми стоит следить
Инсайдеры AI-индустрии предупреждают Совет города Нью-Йорка о сбоях в безопасности и также меняют практическую последовательность решений. Организациям необходимо установить, что известно, что поступило от источника сообщения и что остается заявлением поставщика или официальным утверждением, прежде чем они превратят разработку в закупки, политику или операционные рекомендации.
Немедленной проверкой для Совета города Нью-Йорка является не то, звучит ли идея правдоподобно. Важно, сможет ли другая команда воспроизвести результат или проверить сообщенное поведение с использованием сохраненных записей, определенных условий и сравнения с процессом, который существовал до изменения.
Передовые аспекты безопасности ИИ создают зависимости, которые легко упустить из виду во время цикла запуска. Личность, доступ к данным, версии моделей, пропускная способность инфраструктуры и одобрение человека могут определять результат, даже если видимый продукт кажется одной интегрированной услугой.
Гражданские следственные запросы могут раскрыть более полную хронологию, чем публичные отчёты о происшествиях. Следователи могут сравнивать внутренние оценки рисков, решения о запуске, предупреждения для клиентов и последующее исправление ситуации, чтобы определить, понимала ли компания существенную опасность раньше пользователей. Соответствующими данными является не только то, что не сработало, но и то, что знали принимающие решения в момент одобрения каждого расширения доступа.
Юридический вопрос может зависеть от представления так же сильно, как и от способности. Переменная система не является автоматически обманчивой, но компания может создавать риск, если её реклама подразумевает надежную автономность, в то время как контракты и техническая документация тихо возлагают ответственность на клиента. Четкие ограничения должны появляться там, где принимаются решения о покупке и разрешениях, а не только в специализированных документах.
Надзор со стороны агентства может касаться дизайна согласия. Пользователи часто активируют агента с помощью простого управления продуктом, а затем предоставляют доступ к электронной почте, файлам, коду или платежным системам на отдельных экранах. Следователи могут спросить, доносили ли эти шаги совокупные полномочия системы и мог ли разумный человек отозвать разрешение, не теряя доступ к несвязанным функциям продукта.
Таксономии инцидентов имеют значение, потому что компании не обязательно учитывают одно и то же событие одинаково. Один поставщик может зафиксировать попытку внешнего воздействия как инцидент безопасности, в то время как другой отмечает это как заблокированный вызов инструмента. Регулятору нужны сравнимые определения, прежде чем общие показатели смогут поддерживать выводы о относительной безопасности или тенденции в отрасли.
Средства устранения могут иметь большее влияние, чем штрафы. Требования к сохранению журналов, независимому тестированию, более ясным уведомлениям или отложенной активации функций могут изменить практику разработки продуктов на рынке, если конкуренты ожидают того же стандарта. Узконаправленное финансовое урегулирование, напротив, может быть воспринято как затраты без решения вопроса о том, как должны управляться автономные системы.
Расследование также проверяет технические возможности правительства. Сотрудники должны уметь различать галлюцинацию модели и сбой разрешений инструмента, понимать, как агент планирует свои действия через несколько вызовов, и оценивать, сработало ли средство защиты так, как было задумано. Компании следует предоставлять воспроизводимые доказательства, в то время как агентство должно объяснять достаточно методов, чтобы любое заключение выглядело достоверным.
Международные клиенты будут следить за этим делом, потому что обеспечение исполнения в США может повлиять на формулировки контрактов и настройки продуктов за пределами страны. Компания может предпочесть одну глобальную систему контроля, а не поддерживать более слабые и более сильные версии для разных рынков. Этот эффект переноса делает особенно важным стандарт доказательств: неясное дело может привести к широкому соблюдению требований без широкого понимания.
Полезная оценка должна включать неудачные попытки и вмешательства. Если специалисты неоднократно исправляют систему, восстанавливают контекст или отменяют действия, кажущаяся скорость регулирования локального ИИ может отражать работу, перемещённую в менее видимую часть организации, а не работу, которая была устранена.
Коммерческие и институциональные стимулы направлены в разные стороны. Поставщики выигрывают от быстрого внедрения и широких заявлений, тогда как клиенты и регуляторы нуждаются в стабильных определениях, сопоставимых данных и достаточном времени для изучения поведения вне условий, выбранных для демонстрации.
Это напряжение не требует прекращения полезного экспериментирования. Оно говорит о необходимости ограниченных испытаний, в которых полномочия узкие, журналы остаются доступными, а организация уже решила, какой результат оправдывает расширение, пересмотр или приостановку.
Роль человека должна быть уточнена, а не описана как абстрактный надзор. Рецензенты нуждаются во времени, соответствующих доказательствах и полномочиях для отклонения рекомендации. Человек, который видит только конечный результат, не может надежно обнаружить сбой данных или разрешений на более ранних этапах.
Затраты следует учитывать на уровне выполненной задачи. Вывод, повторные попытки, подключенные инструменты, обзор специалиста, меры безопасности и восстановление после инцидентов — все это влияет на стоимость надежного результата, даже если тариф на основную модель или программное обеспечение кажется низким.
Запись также должна сохраняться после обновления поставщика. Команды должны хранить версию модели и политики, набор для оценки, принятые исключения и причину, по которой развертывание было одобрено, чтобы позднее можно было сравнить фактическую работу с решениями системы, которые действительно изучали.
Общественное сообщение должно сохранять неопределенность, не становясь при этом расплывчатым. Названные участники могут объяснить, какое событие произошло, какие доказательства это подтверждают и какое расследование еще предстоит, позволяя читателям отличить взвешенное обновление от обещания о будущем поведении.
Независимая проверка станет более важной по мере того, как Городской совет Нью-Йорка перейдет к обычной работе. Внешние рецензенты могут не получать каждую конфиденциальную деталь, но им нужен достаточный доступ, чтобы проверить основное утверждение и определить, где доказательства полностью зависят от организации, которая их представляет.
Следующий этап покажет, приведет ли разработка к повторяемому улучшению работы или останется изолированным сигналом. Ответ станет очевидным через использование клиентами, соблюдение правил, техническое тестирование и готовность раскрывать неудачи с той же степенью конкретики, с какой сообщается о прогрессе.
Для лиц, принимающих решения, время имеет почти такое же значение, как и само объявление. Бюджеты, регуляторные графики и технические дорожные карты уже приведены в движение, что означает, что позднее изменение может создать давление принять утверждение до того, как доказательства будут готовы. Дисциплинированный ответ разделяет срочное оперативное решение и более длочное суждение о том, изменяет ли разработка стратегию.
Наиболее значимое сравнение в ближайшей перспективе будет с обычной альтернативой, а не с идеализированной будущей системой. Команды должны задать себе вопрос, улучшает ли Городской совет Нью-Йорка одинаковую нагрузку, когда оба подхода получают равные данные, внимание экспертов и время на восстановление. Без этой базы поразительный результат может отражать лучшую подготовку или дополнительную поддержку, а не преимущество, которое сохранится после расширения внедрения.
Безопасность передовых ИИ также поднимает вопрос концентрации. Если один поставщик контролирует модель, мониторинг, уровень идентификации и записи инцидентов, клиенты могут получать удобный сервис, при этом теряя независимые доказательства, необходимые для его оспаривания. Контракты и архитектура должны обеспечивать доступ к журналам, экспортируемым записям и внешнему тестированию, чтобы операционная зависимость не превращалась в информационную зависимость.
Компании должны сохранять записи до того, как станет ясна сфера применения. Версии моделей, вызовы инструментов, одобрения, отчеты о инцидентах и коммуникация с клиентами могут стать ключевыми доказательствами, как только поступят официальные требования.
Общественные интересы выходят за рамки драматических сбоев. Вводящие в заблуждение гарантии, слабое уведомление, сложная процедура отмены и скрытая передача ответственности могут причинить вред потребителям, даже если ни одна система не выходит за пределы песочницы.
Заслуживающее доверия решение должно делать будущее поведение измеримым. Расплывчатые обещания ответственной разработки не информируют пользователей, клиентов или конкурентов о том, что изменилось.
С Принципы ИИ ОЭСР подчеркивают прозрачность, надежность и подотчетность в разных юрисдикциях, предоставляя транснациональным компаниям полезный базовый уровень, даже когда национальное принуждение различается.
Европейская политика в области ИИ предлагает еще одну точку сравнения для документации, прозрачности и обязанностей развертывающих, поскольку американские учреждения продолжают полагаться на сочетание действующего законодательства и добровольных обязательств.
Первая дисциплина внедрения — ясная базовая линия. Команды должны зафиксировать, как выполняется работа сегодня, сколько времени это занимает, какие ошибки происходят и какие результаты имеют значение, прежде чем внедрять новую систему.
Оценка должна включать неполные инструкции, необычные вводные данные и меняющиеся условия. Подготовленные демонстрации устраняют именно ту неоднозначность, с которой должны справляться производственные системы.
Человеческий обзор должен быть организован с учетом ограниченной способности к концентрации. Просить человека утверждать постоянный поток рутинных результатов приводит к поведению «кликания», а не к значимому надзору.
Происхождение данных заслуживает такого же внимания. Полированный результат может быть собран из устаревших, неполных или некорректно объединенных записей, поэтому важные утверждения нуждаются в проверяемых источниках и времени обновления.
Закупки должны учитывать хранение, субподрядчиков, изменения модели, права на экспорт и уведомление о происшествиях. Эти условия определяют, может ли пилот превратиться в регулируемую инфраструктуру.
Метрики должны включать брошенные задачи, ручное вмешательство, отказ в разрешениях и исправленные результаты. Эти события показывают, где возникает неуверенность в рабочем процессе, даже если общественных инцидентов не происходит.
Конкуренция может улучшить цену и качество, но она также может сделать сдержанность похожей на слабость. Процессы выпуска должны предоставлять возможность сузить или отложить функцию, если доказательства не поддерживают более широкое использование.
Эффекты на рабочую силу должны измеряться по всему процессу. Автоматизация может убрать один повторяющийся шаг, при этом создавая необходимость в проверке, обработке исключений и коммуникации с клиентами в другом месте.
Организациям следует сохранять путь выхода. Переносимость моделей, документированные рабочие процессы и экспортируемые записи снижают риск того, что экспериментальное решение станет необратимой зависимостью.
Доказательства в ближайшей перспективе будут поступать от развертываний у клиентов, независимого тестирования и обработки сбоев. Эти сигналы более ясно раскрывают стратегию, чем утверждение на этапе запуска.
Полезный план развертывания отделяет технический успех от готовности организации. Система может выполнять задачу в тестировании, в то время как у организации все еще нет владельца, процесса обработки инцидентов или полномочий для приостановки работы. Одобрение запуска должно требовать обе формы доказательств, потому что надежный компонент все еще может причинить вред внутри неконтролируемого рабочего процесса.
Независимая проверка наиболее эффективна, когда оценщики могут воспроизвести соответствующие условия. Суммарные оценки и выбранные примеры недостаточны для претензий с высокой степенью последствий. Рецензентам нужны версии модели или оборудования, настройки инструментов, классы входных данных, правила вмешательства и определение успеха, а также достаточно случаев неудач, чтобы понять, где находится граница.
Общение после неудачи требует заранее продуманного дизайна. Клиентам, работникам и регуляторам нужна различная информация с разной скоростью, но все они извлекают пользу из последовательного фактического отчета. Команды должны решить, кто подтверждает событие, кто может говорить публично и как будут вноситься исправления, прежде чем коммерческое давление усложнит эти решения.
Окончательное решение должно оставаться обратимым. Организации могут ограничивать рамки, сохранять ручной путь и устанавливать дату для переоценки, а не воспринимать принятие как постоянное одобрение. Обратимость превращает неопределенность в управляемое состояние и дает руководителям пространство для реагирования, когда новые данные меняют соотношение пользы и риска.
Значение Совета города Нью-Йорк будет определено после цикла объявлений. Долговременной мерой является то, улучшатся ли доказательства, выдержат ли контрольные меры давление и останутся ли вовлеченные организации готовыми объяснять решения, когда производительность и ответственность тянут в разные стороны.
Темы: Совет города Нью-Йорк, безопасность передовых ИИ, местное регулирование ИИ