Безопасность
Происхождение моделей с открытым весом становится проблемой корпоративной безопасности
Модели искусственного интеллекта с открытым весом привлекательны с точки зрения стоимости и контроля, но корпоративным покупателям теперь нужны более убедительные доказательства происхождения обучения, истории модификаций, лицензирования и рисков цепочки поставок.
Автор: Лео У ·
Модели с открытыми весами становятся корпоративной инфраструктурой, и это превращает происхождение в проблему безопасности, а не в академическую сноску. Модель, которую можно скачать, модифицировать и заново развернуть, дает компаниям контроль, но также вызывает вопросы о том, откуда она появилась и что было изменено по пути.
Преимущество очевидно. Открытые веса могут снизить зависимость от конкретного поставщика, поддерживать частное развертывание, уменьшить стоимость инференса и позволить командам тонко настраивать модели под локальные рабочие процессы. Вот почему предприятия тестируют их для программирования, поиска, поддержки, соответствия требованиям, управления знаниями и внутренней автоматизации.
Риск менее очевиден до тех пор, пока что-то не сломается. Компания может знать название модели, но не знать происхождение данных, историю оценки, лицензионные ограничения, изменения безопасности или кто изменял веса после выпуска. В программном обеспечении это считалось бы неприемлемым разрывом в цепочке поставок. Искусственный интеллект движется к тому же стандарту.
Происхождение должно одновременно отвечать на несколько вопросов. Было ли модель выпущена надежным источником? Совместима ли лицензия с предполагаемым использованием? Были ли изменены веса? Какие данные для дообучения были добавлены? Какие тесты были проведены? Были ли известные уязвимости или схемы обхода защиты протестированы перед развертыванием?
Реестры моделей станут контрольной точкой. Предприятия уже отслеживают контейнеры, пакеты и облачные ресурсы. Теперь им нужна аналогичная система для моделей: одобренные источники, контрольные суммы, право собственности, назначение развертывания, результаты оценки, правила доступа и планы снятия с эксплуатации.
Сложность заключается в том, что цепочки поставок ИИ более размытые, чем цепочки поставок программного обеспечения. Пакет либо включает зависимость, либо не включает. Модель может кодировать поведение на основе данных, которые никто не может полностью перечислить, а дообучение может изменять поведение способами, которые трудно увидеть только по метаданным.
Это не делает невозможным отслеживание происхождения. Это означает, что предприятиям нужны многоуровневые доказательства. Документация, технические хеши, воспроизводимые оценки, результаты «красной команды», журналы доступа и мониторинг развертывания — всё это должно работать совместно.
Рынок, вероятно, будет вознаграждать поставщиков, которые сделают это скучным. Побеждающий рабочий процесс с открытой моделью может быть не самым эффектным по показателям. Это может быть тот, который даст CISO, юристам и платформенным командам достаточно доказательств, чтобы сказать «да».
ИИ с открытыми весами по умолчанию не является небезопасным. Неотслеживаемый ИИ с открытыми весами — является. Это различие определит, насколько далеко готовы зайти предприятия.
Темы: модели с открытыми весами, происхождение, безопасность ИИ, предприятие