Этика
Пентагон ищет систему ИИ за 30 миллионов долларов для удаленного выявления лжи
Предложенная программа Polygraph+ будет использовать машинное обучение и бесконтактное сенсорное оборудование для оценки достоверности, возрождая научные и вопросы гражданских свобод, связанные с детектором лжи.
Майкл С.
ВАШИНГТОН. Агентство по контрразведке и безопасности Министерства обороны США ищет примерно 30 миллионов долларов на пять лет для Polygraph+, программы, предназначенной для сочетания машинного обучения с бесконтактным сенсорным контролем. Предложение обещает более масштабируемую оценку достоверности, но оно выходит на область, где заявления о точности долгое время превышали научный консенсус.
Традиционные полиграфы определяют обман по физиологическим сигналам, таким как дыхание, пульс и потоотделение. Эти сигналы могут отражать стресс, страх, инвалидность, лекарства или важность собеседования, а не ложь.
Что изменилось
Добавление ИИ не решает основную проблему измерений. Модель может обнаруживать тонкие закономерности в данных сенсоров, но ей все равно нужен действительный ярлык для обмана и репрезентативная популяция. Если ярлыки получены из спорных результатов полиграфа, система может воспроизводить неопределенность с большей числовой уверенностью.
Дистанционное зондирование также меняет соотношение сил. Человек может не знать, какие сигналы собираются или как алгоритм их интерпретировал. При проверке на безопасность непрозрачный балл может влиять на решения о приеме на работу и допуск к работе, оспорить которые сложно.
Этический обзор должен следовать за людьми, на которых влияет система, включая тех, кто никогда не выбирал использовать его. Согласие, апелляция, доступность и распределение ошибок имеют такое же значение, как и средняя производительность. Продукт может выглядеть точным в целом, при этом нанося концентрированный вред небольшой группе.
Институциональная легитимность зависит от видимой цепочки ответственности. Модель может помогать в принятии решения, но ответственная организация всё равно должна объяснять, защищать и исправлять результат.
Прозрачность должна быть практичной, а не церемониальной. Пользователи должны знать, когда ИИ влиял на решение, какая информация имела значение и где они могут оспорить результат. Длинная страница политики не может заменить объяснение, предоставленное в момент принятия значимого решения.
Операционный тест
Перед развертыванием агентство должно опубликовать методы валидации, эффективность для подгрупп, процедуры апелляции и четкие ограничения на использование. Независимые ученые должны иметь доступ для проверки того, сохраняются ли результаты вне контролируемых условий и не слишком ли сильно экзаменаторы полагаются на автоматический балл.
Первой дисциплиной в оценке этого развития является разделение подтвержденных новостей и связанных с ним ожиданий. Предлагаемая программа Polygraph+ будет использовать машинное обучение и бесконтактное сенсорное обнаружение для оценки достоверности, возрождая научные и гражданско-правовые вопросы, связанные с обнаружением лжи. Это значимо само по себе, но не доказывает каждое коммерческое, научное или политическое утверждение, связанное с историей. Читатели должны различать, что было объявлено, что наблюдали посторонние, что остаётся утверждением и что должно произойти, чтобы более широкое обещание стало реальностью.
Пентагон находится внутри более широкой сети поставщиков, клиентов, регулирующих органов, исследователей и людей, которые, как ожидается, будут использовать технологию. Изменения на одном уровне могут перемещать стоимость или риск на другой уровень, а не устранять их. Практический анализ охватывает всю цепочку, включая то, кто поставляет инфраструктуру, кто контролирует доступ, кто проверяет результаты и кто несет ответственность после сбоя.
Стимулы заслуживают пристального внимания. Организации, связанные с Polygraph+, могут извлечь выгоду из более быстрого внедрения, благоприятных правил, больших бюджетов или более сильной конкурентной позиции. Это не делает их утверждения ложными, но делает прозрачными методы и независимое тестирование важными. Полезное раскрытие информации объясняет сравнение, условия и случаи, которые не сработали.
Ответственность также должна оставаться за человеком или учреждением. Автоматизированные системы могут рекомендовать, ранжировать, суммировать или действовать, но они не могут нести юридическую или моральную ответственность так, как это может организация. Команды, внедряющие технологии, связанные с детекцией лжи, должны назначить ответственного за одобрение, мониторинг и реагирование на инциденты, с полномочиями приостановить работу системы и требовать изменения в её дизайне.
Наиболее сильные планы внедрения начинаются с ограниченного варианта применения и явной исходной базы. Команды должны знать, как сейчас выполняется работа, сколько времени она занимает, какие ошибки происходят и какие результаты имеют значение, прежде чем внедрять новую систему. Затем они могут сравнивать принятые результаты, время исправления, общую стоимость и нарушения политики, а не просто праздновать сырую активность.
Закупки должны отражать ту же дисциплину. Закупщики должны спрашивать, где обрабатываются данные, как долго они хранятся, какие субподрядчики их получают, как сообщаются изменения в модели и можно ли экспортировать записи, если отношения прекращаются. Демонстрации благоприятствуют чистым входным данным и успешным сценариям; в производстве встречаются неполные инструкции, противоречивые разрешения и необычные крайние случаи.
Люди, власть и доверие
Работники и пользователи определяют, станет ли технология надежной. Обучение не может ограничиваться подсказками. Людям нужно понимать, когда система вероятно выйдет из строя, как проверить важный результат и куда сообщать о поведении, которое не соответствует ожидаемой модели. Им также нужна защита от стимулов, которые вознаграждают скорость и наказывают осторожность.
Общественное доверие зависит от того, насколько честно учреждения сообщают о неопределенности. Четкие границы делают систему проще для ответственного использования. Поставщик должен сообщать, какие задачи были протестированы, какие группы населения или среды остаются недостаточно представленными, какие меры мониторинга существуют и как пользователи узнают о серьёзных инцидентах.
Важно также распределение выгод. Новые возможности могут снизить стоимость и расширить доступ, но они могут концентрировать контроль в организациях, которые владеют вычислительными мощностями, данными и отношениями с клиентами. Политики должны спрашивать, могут ли более мелкие фирмы, государственные учреждения и исследователи участвовать на разумных условиях. Компании должны спрашивать, достигают ли эффекты повышения эффективности клиентов и работников.
Глобальные различия усложняют внедрение. Закон о конфиденциальности, трудовое законодательство, мощность инфраструктуры и общественная терпимость различаются в зависимости от страны и города. Система, оцененная на одном рынке, может столкнуться с разными языками, рабочими процессами и ожиданиями в другом месте. Локализация требует местного тестирования и готовности ограничить функцию, если данные не подтверждают такой же уровень автономности везде.
Реализация также выявит зависимости, скрытые объявлением. Работа, связанная с Пентагоном, может полагаться на облачный регион, поставщика идентификационной информации, лицензию на данные, поставщика оборудования или внешнее API, которым организация, внедряющая систему, не управляет. Устойчивая архитектура определяет эти зависимости до запуска, назначает владельца для каждой и определяет, как рабочий процесс ухудшается при недоступности сервиса. В противном случае узкий сбой или изменение политики может превратиться в перебой по всей организации.
Качество данных заслуживает такого же пристального внимания. Системы, связанные с Polygraph+, могут выдавать отточенный результат на основе неполных, устаревших или неправильно объединённых записей. Уверенность в представлении может тогда превышать уверенность в источнике. Командам нужна прослеживаемость, показывающая, откуда взяты важные факты, когда они были обновлены и какие преобразования произошли до того, как модель их увидела. Эта запись поддерживает как исправление, так и подотчетность.
Человеческая проверка должна быть разработана с учетом реальных ограничений внимания. Просить человека одобрить сотни рутинных результатов не создает значимого надзора; это создает предсказуемую склонность просто нажимать кнопки. Проверка должна сосредотачиваться на неопределенности, необычных действиях и случаях с необратимыми последствиями. Интерфейс должен объяснять, почему случай был передан на рассмотрение, и предоставлять проверяющему достаточно исходных материалов для вынесения независимого суждения.
У небольших организаций возникает другая версия проблемы. Они могут больше всего выигрывать от возможностей, связанных с обнаружением лжи, но у них часто отсутствуют юристы по закупкам, инженеры по безопасности и команды оценки. Поставщики должны предлагать удобные стандарты по умолчанию, ясные контракты и журналы, которые не требуют специализированной платформы для интерпретации. Регуляторы и отраслевые группы могут помочь, публикуя методы тестирования, которые школа, клиника или компания среднего размера могут применять без создания передовой лаборатории.
Экологические издержки не должны исчезать из бухгалтерского учета. Обучение, вывод, хранение и сетевые операции потребляют энергию и воду через цепочку поставок, которая может проходить через несколько регионов. Повышение эффективности может снизить нагрузку от одной задачи, в то время как общий спрос растет быстрее. Компании должны сообщать о потреблении ресурсов в форме, которую клиенты и сообщества могут сравнивать, включая допущения, лежащие в основе компенсаций и заявлений о возобновляемой энергии.
Эффекты автоматизации труда будут проявляться неоднородно. Некоторые работники будут использовать систему для устранения повторяющихся шагов, в то время как другие могут получить больше задач по контролю, ускоренные квоты или ответственность за исправление автоматизированной работы. Руководителям следует привлекать людей, которые понимают текущий процесс, прежде чем решать, что автоматизировать. Их знания часто выявляют исключения и неформальные меры предосторожности, которые отсутствуют в официальной схеме рабочего процесса, но необходимы для обеспечения качества.
У зрелого внедрения также должен быть план выхода. Модели устаревают, поставщики меняют условия, и организации обнаруживают, что ранняя архитектура больше не подходит. Записи должны оставаться переносимыми, автоматические решения должны быть воспроизводимыми, а критические рабочие процессы не должны зависеть от одного недокументированного запроса. Возможность покинуть поставщика является как коммерческим рычагом, так и мерой безопасности, поскольку она не позволяет неудачному эксперименту превратиться в постоянную инфраструктуру.
Тестирование сценариев может превратить эти принципы в решения. Руководители, отвечающие за Пентагон, должны отрепетировать правдоподобный сбой в период пикового использования, отключение поставщика, спорный результат и запрос от регулятора или пострадавшего клиента. Упражнение должно определить, кто имеет полномочия, какие записи доступны и сколько времени занимает восстановление. Недостатки, выявленные в ходе учебного занятия за столом, дешевле исправить, чем те же недостатки, обнаруженные, когда клиенты и журналисты ждут ответов.
Финансовая модель должна включать эту работу по обеспечению устойчивости. Бюджеты на Polygraph+ часто учитывают лицензии и вычислительные ресурсы, игнорируя оценку, проверку безопасности, обучение сотрудников, апелляции и реагирование на инциденты. Это не факультативные накладные расходы, добавленные осторожными командами. Это часть стоимости производства надежного результата. Сравнение автоматизированного рабочего процесса с человеческим трудом при исключении его контрольного слоя создаёт экономию на бумаге, которая может исчезнуть после первой серьёзной ошибки.
Лучший стандарт прогресса
Прогресс следует измерять со временем, а не на момент выпуска. Полезная оценочная таблица для этики должна отслеживать надежность, стоимость на принятый результат, серьёзные инциденты, время восстановления, апелляции пользователей и необходимый все ещё человеческий надзор. Метрики должны выявлять компромиссы, а не сжимать их в один показатель.
Независимые исследования могут улучшить эту оценочную карту, если оценщики получат значимый доступ. Общественные ориентиры ценны, но поставщики могут оптимизировать под них, а модели могут сталкиваться с аналогичным материалом во время обучения. Безопасные тесты с новыми заданиями, реальными инструментами и представительными пользователями дают более точную картину.
Конкуренция может дать клиентам альтернативы и стимулировать улучшения в цене и качестве. Она также может побуждать к преждевременным выпускам, когда быть вторым кажется более дорогостоящим, чем ошибаться. Управление должно сохранять возможность для команды задерживать, ограничивать или отзывать функцию, не рассматривая осторожность как неудачу.
Для читателей, следующих за сообщением о том, что Пентагон ищет систему ИИ для удаленного определения лжи стоимостью 30 миллионов долларов, ближайшие вопросы конкретны. Следите за независимым подтверждением, развертыванием у клиентов, нормативными деталями и доказательствами того, что система работает за пределами подготовленной демонстрации. Изменения в ценах, доступе и ответственности часто яснее отражают стратегию, чем ключевые выступления.
Предстоящие решения
Разумным контраргументом является то, что риски, связанные с Пентагоном, могут быть преувеличены, когда разговор переходит от конкретного события к прогнозам о промышленности. Новые системы часто кажутся нестабильными, прежде чем практики инженерии станут зрелыми, а чрезмерная осторожность может защищать действующих участников, делая эксперименты слишком дорогими. Ответ состоит в предоставлении доказательств, пропорциональных авторитету, которым обладает система, и ущербу, который она может причинить.
Существует также издержка от ожидания. Лучшие инструменты могут уменьшить повторяющуюся работу, расширить экспертизу и помочь учреждениям решать неотложные проблемы. Ответственное развертывание должно быть процессом, который создает доказательства: начинать в рамках ясных ограничений, измерять происходящее и расширять только когда результаты это оправдывают. Это более полезно, чем бинарный выбор между неограниченным выпуском и постоянным запретом.
Существующее законодательство уже охватывает многие вреды, но оно может не обеспечивать необходимой видимости, когда модель меняется быстро или действует через несколько сервисов. Целевое сообщение о происшествиях, технические стандарты и доступ для квалифицированных оценщиков могут дополнять существующее законодательство без создания отдельной правовой системы для каждой функции.
Доступ — это первое решение. Провайдеры должны определить, кто может использовать функционал, с какими инструментами и под каким контролем. Широкий доступ ускоряет обучение и конкуренцию, тогда как ограничения могут снизить немедленный риск. Надежный подход объясняет порог доступа, а не представляет его только как маркетинговый уровень.
Обратимость — это второе решение. Команды должны знать, можно ли приостановить развертывание, восстановить версию модели и отменить автоматическое действие. Продукты, создающие необратимые внешние эффекты, требуют более строгого одобрения, чем инструменты, результаты работы которых остаются черновиками. Контракты должны сохранять за клиентом возможность получать записи и менять провайдеров.
Раскрытие информации — это третье решение. Публикация каждой технической детали может создать проблемы с безопасностью или конфиденциальностью, но молчание не позволяет экосистеме учиться. Многоуровневый процесс может быстро уведомлять пострадавших клиентов, делиться конфиденциальной информацией с доверенными органами и предоставлять публичный отчет после того, как непосредственный риск пройдет.
Наиболее надёжные меры защиты дают людям власть, а не только информацию. Это означает возможность человеческой проверки, значимого исправления и способ отказаться от использования там, где сервис не является обязательным. Учреждения должны оценивать, работают ли эти меры при реальной нагрузке.
Закупка является проверкой того, рассматривает ли государство ИИ как доказательство или просто украшение. Система, которая влияет на права и карьеры, должна доказать, что она измеряет то, что заявляет, а не просто то, что может выдавать последовательные числа.
Значение того, что Пентагон хочет получить 30-миллионную ИИ-систему для удалённого выявления лжи, не решится за один цикл объявлений. Оно будет оцениваться по качеству доказательств, устойчивости контроля и решениям, принимаемым учреждениями, когда производительность и ответственность тянут в разные стороны.
Темы: Пентагон, полиграф+, обнаружение лжи, машинное обучение, гражданские свободы