Безопасность
Новая система обнаружения ИИ выявляет дипфейки с точностью 99%
Исследователи MIT и Стэнфорда разработали передовую систему ИИ, которая с 99% точностью обнаруживает дипфейки и синтетические медиа, решая проблему растущей угрозы дезинформации, созданной ИИ.
Майкл Г ·
Рост числа синтетических медиа, созданных с помощью ИИ, создал одну из наиболее значимых проблем информационной безопасности десятилетия. Дипфейки — убедительно реалистичные видео, изображения и аудиозаписи людей, говорящих или делающих то, чего они никогда не говорили или не делали — перешли от нишевого технического любопытства к основной угрозе, с документально подтвержденными случаями мошенничества с использованием дипфейков, политической дезинформации и несанкционированного интимного контента, затрагивающего миллионы людей по всему миру.
На этом фоне совместная исследовательская группа из Лаборатории компьютерных наук и искусственного интеллекта MIT и Института человеко-ориентированного ИИ Стэнфорда опубликовала статью, описывающую систему обнаружения, которая достигает 99% точности в идентификации синтетических медиа по широкому спектру методов генерации и типов медиа. Система под названием Sentinel-7 представляет собой самое значительное достижение в области обнаружения дипфейков с момента появления этой области, а её разработчики работают с крупными технологическими платформами над масштабным внедрением.
Как работает Sentinel-7
Основная проблема в обнаружении дипфейков заключается в том, что те же AI-технологии, которые используются для создания синтетического медиаконтента, также могут быть использованы, чтобы сделать этот контент более трудным для обнаружения. По мере того как системы обнаружения совершенствуются, системы генерации адаптируются, чтобы их обходить — классическая ситуация противоборства, которая исторически была более благоприятна для генераторов, чем для детекторов.
Sentinel-7 решает эту задачу с помощью многоуровневого подхода, который одновременно ищет признаки синтетического происхождения на нескольких уровнях анализа. На уровне пикселей система выявляет тонкие статистические артефакты, характерные для генерации нейронными сетями — закономерности в шуме, несоответствия освещения и аномалии текстур, которые остаются незаметными для человеческого глаза, но статистически значимы. На семантическом уровне она анализирует согласованность выражений лица, языка тела и контекста окружающей среды. На временном уровне, для видеоконтента, она проверяет согласованность паттернов движения между кадрами.
Заявление о точности 99%: что это означает и что не означает
Показатель точности 99% требует внимательной интерпретации. Он измеряется на тестовом наборе из 50 000 медиафайлов — 25 000 подлинных и 25 000 синтетических — созданных с использованием 47 различных методов генерации дипфейков. Система правильно классифицирует 99% этих образцов, с уровнем ложноположительных срабатываний 0,8% (подлинные медиа неверно помечены как синтетические) и уровнем ложноотрицательных срабатываний 1,2% (синтетические медиа неверно классифицированы как подлинные).
Проблема дипфейков в первую очередь не техническая — это проблема доверия. Sentinel-7 предоставляет платформам и отдельным пользователям инструмент для проверки подлинности, но более сложная задача заключается в восстановлении эпистемической инфраструктуры, которую подорвали дипфейки.
Доктор Фэй-Фэй Ли, Совместный директор, Stanford HAI
Планы развертывания и партнерские сотрудничества платформ
Исследовательская команда подписала партнерские соглашения с Meta, YouTube и TikTok для интеграции Sentinel-7 в их конвейеры модерации контента. В рамках этих соглашений весь видеоконтент, загружаемый на эти платформы, будет автоматически проверяться на синтетическое происхождение, а контент, помеченный как подозрительный, подлежит дополнительной проверке человеком перед тем, как получить широкое распространение.
Развертывание вызывает важные вопросы о надлежащей правовой процедуре и последствиях ложноположительных результатов. Уровень ложноположительных срабатываний в 0,8% кажется небольшим, но если его применить к миллиардам видео, загружаемых на эти платформы каждый день, это превращается в миллионы подлинных видео, ошибочно помеченных как синтетические. Исследовательская группа и партнеры по платформе работают над процессами обжалования и рабочими процессами с участием людей, чтобы решить эту проблему, но масштаб задачи значителен.
Широкие последствия для целостности информации
Sentinel-7 является значительным техническим достижением, но его разработчики осторожно представляют его как один из элементов более широкого ответа на угрозу синтетических медиа, а не как полное решение. Технология обнаружения, каким бы точным она ни была, работает в реактивном режиме — она может выявлять синтетические медиа после их создания и распространения, но не может предотвратить их создание изначально.
Более комплексный подход требует действий на нескольких уровнях: технических средств обнаружения, таких как Sentinel-7, политик платформ, ограничивающих распространение непроверенного синтетического медиа, правовых рамок, устанавливающих ответственность за создание зловредных дипфейков, и образования в области медиаграмотности, которое помогает людям развивать соответствующий скептицизм по отношению к цифровому контенту. Исследователи активно взаимодействуют с законодателями в США, ЕС и Великобритании для разработки этой более широкой структуры.
Проблема дипфейков по сути является проблемой доверия к цифровым медиа. Sentinel-7 предоставляет мощный инструмент для восстановления части этого доверия, но более глубокая работа по восстановлению эпистемической инфраструктуры, подорванной синтетическими медиа, потребует продолжительных усилий в технической, правовой и социальной сферах на протяжении многих лет.