Исследование
Безопасность воплощённого ИИ переходит от лабораторных демонстраций к системной инженерии
Роботы, автономные транспортные средства и физические системы ИИ заставляют команды по безопасности думать не только о поведении моделей. Настоящая задача — инженерия жизненного цикла: датчики, люди, окружающая среда, обновления и восстановление после сбоев.
Майкл Г ·
Интегрированный ИИ делает искусственный интеллект снова физическим. Системы, которые сейчас переходят от демонстраций к развертыванию, не просто генерируют текст или изображения. Они воспринимают окружение, принимают решения, передвигаются в пространстве и иногда работают рядом с людьми, которые не согласились стать подопытными.
Это меняет проблему безопасности. Языковую модель можно откатить после плохого ответа. Роботизированная рука, транспортное средство для доставки, складская система или автономная машина могут создать физический риск еще до того, как панель управления станет красной. Слой безопасности должен быть разработан до развертывания, а не добавлен после вирусного сбоя.
Тело изменяет модель риска
В программном AI многие ошибки носят информационный характер: вымышленный факт, плохая рекомендация, утечка конфиденциальной информации, неверная классификация. В воплощённом AI ошибки могут быть также пространственными и кинетическими. Система должна понимать расстояние, силу, время, постоянство объектов, непредсказуемость человека и неопределённость окружающей среды.
Вот почему исследователи безопасности всё чаще описывают воплощённый AI как задачу системной инженерии. Модель важна, но также важны датчики, исполнительные механизмы, карты, крайние случаи, операторы, журналы технического обслуживания, задержки в сети и скучные механические детали, определяющие, что происходит, когда система оказывается в замешательстве.
Демонстрации скрывают длинный хвост
Демонстрация может быть организована вокруг случаев, с которыми система справляется хорошо. Развертывание подвергает длинный хвост: отражающие поверхности, заблокированные датчики, странное освещение, поврежденное оборудование, нетерпеливые люди, неожиданные объекты и редкие сочетания обычных проблем. Разрыв между демонстрацией и внедрением — это место, где многие компании по робототехнике исторически испытывали трудности.
Новейшие системы воплощённого ИИ наследуют эту историю, но с большей автономностью. Они могут лучше обобщать задачи по сравнению с более старыми роботами, но эта гибкость также делает поведение труднее сертифицировать. Робот, который повторяет только один путь, можно оградить. Робот, который рассуждает о новых задачах, нуждается в более богатом обосновании безопасности.
Управление жизненным циклом имеет значение
Важный вопрос заключается не в том, прошла ли воплощённая система ИИ один лабораторный тест. Важно, как система управляется на протяжении всего её жизненного цикла. Что происходит, когда модель обновляется? Кто проверяет новые поведения? Как сообщаются о близких к инциденту ситуациях? Могут ли операторы быстро отключить автономию? Просматриваются ли журналы инцидентов людьми, имеющими полномочия для изменения системы?
Вот где традиционная инженерия безопасности может чему-то научить ИИ. Авиация, автомобилестроение, медицинские устройства и промышленная автоматизация выработали практики анализа рисков, резервирования, обслуживания и сертификации. Воплощенному ИИ потребуются версии этих практик, которые смогут работать с адаптивным программным обеспечением.
Коммерческие ставки велики. Полезный физический ИИ может изменить логистику, уход за пожилыми, производство, сельское хозяйство, лаборатории, больницы и дома. Но внедрение зависит от уверенности в том, что сбои ограничены, наблюдаемы и исправимы. Эффектное демонстрационное выступление может привлечь внимание. Надежный кейс безопасности дает разрешение.
Роботам нужно доверие, прежде чем масштабирование
Следующий этап воплощённого ИИ, вероятно, будет менее гламурным, чем показывают видео. Он будет включать в себя контрольные списки, стандарты, обучение операторов, имитацию крайних случаев, страхование, контракты на обслуживание и местные правила. Это не замедление. Так выглядит технология, когда она становится реальной инфраструктурой.
Темы: воплощённый ИИ, робототехника, инженерия безопасности, автономные системы