Робототехника
Perceptron выпустила открытую модель зрения Isaac 0.5 с открытыми весами для промышленных роботов
Perceptron, стартап в области робототехники и ИИ, основанный бывшими исследователями Meta, выпустил Isaac 0.5, модель компьютерного зрения с открытым весом, предназначенную для помощи промышленным роботам в навигации по складам и фабрикам. Компания не раскрыла независимые данные о производительности, источники данных для обучения, а также подробности о задержках, поведении в плане безопасности и стоимости интеграции.
Майкл Г ·
Perceptron, стартап в области робототехники и искусственного интеллекта, основанный в ноябре 2024 года, выпустил Isaac 0.5, модель зрения с открытыми весами, предназначенную для помощи промышленным роботам в интерпретации окружающей среды на территории заводов и складов. Согласно отчету TechCrunch, компания позиционирует модель как основу для навигации с визуальным управлением и извлечения структурированной информации из видео роботов, а не как готовый продукт, настроенный для выполнения какой-либо конкретной задачи или работы в каком-либо конкретном объекте. Выпуск делает веса модели доступными для внешней проверки и модификации, что отличается от закрытых систем, предпочитаемых многими поставщиками промышленной робототехники, хотя Perceptron не опубликовал техническую статью с результатами независимого измеренного бенчмарка вместе с выпуском.
Перцептрон был основан Арменом Агаджаняном и Акшатом Шриватавой, ранее оба были исследователями в Meta AI research, где они работали над масштабными мультимодальными системами, прежде чем уйти, чтобы основать компанию. Их опыт в области восприятия и мультимодального обучения привлёк раннее внимание инвесторов и инженеров по робототехнике, которые следят за подходами, способными обобщаться на различные склады и заводские планировки, а не требующими дообучения для каждого нового объекта. Компания публично сообщила относительно мало о размере своей внутренней команды, базе клиентов или дорожной карте продукта, кроме описания Isaac 0.5 как раннего строительного блока, предназначенного для адаптации внешними инженерами, а не для развертывания в виде готовой системы. Отчет TechCrunch предоставляет основной публичный источник информации для этой части отчета.
Perceptron утверждает, что Isaac 0.5 предназначен для помощи роботам с визуальным управлением в навигации по складам и фабрикам и для извлечения полезной информации из необработанного видео робота, например, идентификации объектов, препятствий или этапов рабочего процесса по мере движения робота по объекту. Такое представление выпуска вписывает его в более широкий тренд в промышленной робототехнике, направленный на сокращение объема индивидуальной инженерной работы, необходимой до того, как робот сможет надежно работать в незнакомом физическом пространстве. Достигает ли Isaac 0.5 этого в повседневной эксплуатации, а не на курируемых демонстрационных видео, — это отдельный вопрос, на который компания еще не ответила с использованием независимых данных третьей стороны.
Данные для обучения и валидации остаются неясными
Perceptron сообщает, что Isaac 0.5 был обучен примерно на одном миллионе часов общего видеоконтента, в сочетании с эгоконцентричной съемкой и видео, снятым с использованием UMI — метода сбора данных, который записывает задачи манипуляции от первого лица с точки зрения человека-оператора. Компания не раскрыла, откуда произошло это видео, какая часть была лицензирована и какая собрана из других источников, а также как материал фильтровался по качеству, дублированию или безопасности перед обучением. Для модели, предназначенной для управления физическим оборудованием вокруг людей, запасов и техники, отсутствие информации о происхождении данных является значительной проблемой, поскольку предвзятости или пробелы в обучающих видеозаписях могут напрямую превратиться в “слепые зоны” при интерпретации роботом незнакомого прохода, условий освещения или оборудования на заводской линии.
Материалы самой компании Perceptron описывают возможности, а не результаты независимых измерений, и компания не публиковала показатели успешности выполнения задач, статистику восстановления после сбоев или прямые сравнения с существующими промышленными визуальными системами. Стандартизирующие организации, такие как исследовательская программа робототехники NIST, давно утверждают, что заявления о роботическом восприятии должны проверяться с использованием стандартизированных физических эталонов, а не только демонстрационных видео, именно потому, что изменения освещения, беспорядок, отражающие поверхности и движущиеся работники могут ухудшать работу модели зрения таким образом, который контролируемая демонстрация не покажет. До того как Isaac 0.5 будет оценен на общем тестовом наборе или развернут на значительном масштабе у конкретного заказчика, заявления о его способностях к навигации или извлечению информации лучше воспринимать как описание от производителя, а не подтвержденную производительность. Ограничения в эксплуатации также видны в материалах, опубликованных Исследованиями Meta AI.
Развертывание модели компьютерного зрения на движущемся промышленном роботе также вызывает вопросы, на которые компания не дала подробных ответов, включая то, сколько вычислительных ресурсов на борту требуется Isaac 0.5 и какую задержку он вносит между кадром с камеры и решением о движении. Статус с открытым весом позволяет внешним инженерам изучать архитектуру модели, но сам по себе он не отвечает на вопрос о том, как модель работает при запуске на встроенных GPU или периферийных ускорителях, которые обычно устанавливаются на мобильных складских роботах, а не на облачных серверах, используемых во время разработки и тестирования. Модель, которая хорошо работает на рабочей станции во время оценки, может вести себя иначе после сжатия или квантизации для установки на встроенное оборудование с более жесткими ограничениями по мощности, памяти и тепловыделению, и Perceptron не опубликовал данных, описывающих этот переход.
Безопасность и восстановление после сбоев также остаются без внимания в опубликованных до сих пор материалах. Промышленные роботы, работающие рядом с людьми, обычно требуют документированного поведения на случай, если система зрения теряет уверенность, например, замедления, остановки движения или запроса вмешательства человека, и интеграторы захотят знать, как Isaac 0.5 справляется с такими ситуациями, прежде чем подключить его к управлению движением на действующей производственной линии. Стоимость интеграции — ещё одна неизвестная величина, поскольку адаптация модели зрения с открытым весом к конкретному шасси робота, комплектации камер и планировке помещения обычно требует дополнительной инженерной работы, тестирования и калибровки, что выходит далеко за рамки простого скачивания опубликованных весов. Для институционального контекста, Bessemer Venture Partners объясняет соответствующую систему или стандарт.
Финансовый фон и конкурентная среда
Perceptron ранее привлекла шестнадцать миллионов долларов и, как сообщается, находится в процессе завершения еще одного раунда финансирования, хотя компания не раскрыла сумму или инвесторов, участвующих в этом раунде. Интерес венчурного капитала к промышленная робототехника развивалась в последние несколько лет, и инвестиционные компании, такие как Bessemer Venture Partners, публикуют исследования, отслеживающие автоматизацию и робототехнику как категорию инвестиций, что отражает более широкий интерес инвесторов к компаниям, пытающимся применять масштабные модели ИИ к физической работе, а не только к программному обеспечению. Этот фон помогает объяснить, почему такая молодая компания, как Perceptron, привлекла внимание, хотя он не заменяет доказательства того, как Isaac 0.5 работает вне контролируемых условий.
Isaac 0.5 входит в область, которая уже включает усилия по созданию моделей зрения и базовых моделей, направленных на манипуляцию и навигацию, со стороны известных производителей робототехники и других хорошо финансируемых стартапов, несколько из которых уже опубликовали свои собственные открытые или частично открытые модели для аналогичных промышленных случаев. Решение Perceptron открыть веса модели, а не держать их в закрытом виде, может заинтересовать интеграторов робототехники, которые хотят исследовать или тонко настраивать модель для своего оборудования и объектов. Однако одна только открытость не решает фундаментальную неопределенность относительно того, как была обучена модель, какие данные она видела и как она работает после переноса из демонстрационной среды в рабочий склад или фабрику.
Компания Perceptron не сообщила, когда и намерена ли она выпускать эталонные данные, технический отчет или тематические исследования, описывающие результаты работы платных клиентов с Isaac 0.5 в производственной среде. Пока инженеры, оценивающие модель для использования на складе или фабрике, в основном полагаются на собственное описание компании о объеме обучающих данных и предполагаемых сценариях использования, а независимая проверка точности навигации, задержек, восстановления после сбоев и поведения системы в целях безопасности еще предстоит. Нерешенный вопрос можно оценить на основе руководящих указаний от Исследования робототехники NIST.
Темы: робототехника, Перцептрон, Isaac 0.5, промышленная робототехника, искусственный интеллект с открытым весом, модели зрения, автоматизация складов