Робототехника
Alibaba выпускает Qwen-Drive 1.0 для 3D-восприятия и автономного вождения
Qwen-Drive 1.0 адаптирует мультимодальную модель Alibaba с 4 миллиардами параметров для 3D-восприятия, прогнозирования движений и планирования траектории, сохраняя при этом базовую архитектуру.
Майкл Г ·
Команда Qwen компании Alibaba выпустила Qwen-Drive 1.0, фундаментальную модель видения и языка, которая объединяет понимание сцены, явное 3D-восприятие и планирование траектории автомобиля в одну исследовательскую систему. Построенная на базе Qwen3.5-4B, модель сохраняет неизменной предварительно обученную мультимодальную архитектуру и добавляет специализированные модули, которые преобразуют визуальные представления в геометрию и решения о движении, необходимые автономному автомобилю.
Дизайн решает практическую проблему в исследованиях автономного вождения. Общие модели «визуальный-язык» могут описывать дорожную сцену и отвечать на вопросы о ней, но автомобилям необходимы структурированные выходные данные, такие как позиции объектов, занятые пространства, геометрия полос и безопасный путь на следующие несколько секунд. Традиционные пакеты восприятия создают такие выходные данные, но хуже справляются с рассуждениями на основе языка и незнакомых ситуаций. Qwen-Drive пытается соединить эти два подхода.
Общая визуальная основа
Система добавляет перцептивную головку с видом с высоты птичьего полета, которая выполняет 3D-обнаружение объектов, прогнозирование семантической занятости и сегментацию карты. Отдельный Эксперт по Планированию использует сопоставление потоков для генерации пятнадцатисекундной эго-траектории. Оба компонента считывают данные из общих представлений Qwen, что позволяет одной и той же визуальной основе поддерживать вопросы, пространственное понимание и планирование движения.
Такая модульность важна для инспекции. Инженеры могут оценивать явное 3D-представление, а не полагаться только на пояснение на естественном языке о том, что модель считает. Если запланированный поворот небезопасен, разработчики могут спросить, началась ли ошибка в обнаружении объектов, занятости, понимании карты или генерации траектории. Единая модель полезна только тогда, когда сбои остаются диагностируемыми.
Команда обучала систему поэтапно, сочетая общедоступные наборы данных для вождения с общим визуально-языковым контролем. Эта смесь предназначена для развития навыков вождения, не стирая при этом широкое визуальное понимание, унаследованное от Qwen3.5. Катастрофическое забывание — реальная проблема, когда общая модель слишком агрессивно специализирована, поскольку узкая выгода может снизить гибкость рассуждений, которая делала базовую модель привлекательной.
Сообщаемые результаты бенчмарка показывают высокие показатели в ответах на вопросы о вождении и конкурентоспособное планирование в тестах с открытой, псевдо-закрытой и закрытой петлей. Эти категории нельзя использовать как взаимозаменяемые. Оценка в открытой петле проверяет, насколько предсказанная траектория похожа на зафиксированное человеческое поведение. Тестирование в закрытой петле измеряет, что происходит, когда собственные решения автомобиля изменяют следующее состояние. Заявления о безопасности должны придавать больше значения последнему, при этом необходимо помнить, что симуляция все же отличается от реальных дорог.
Открытые исследования, а не водитель, готовый к дороге
Куэн описывает выпуск как первоначальный шаг и отмечает, что требуется осторожность. Проект использует публичные наборы данных, камеры, метки и правила вождения которых не могут представлять все дороги. Система, которая показывает хорошие результаты на выбранных тестах, всё же может испытывать трудности с редкими конструкциями дорожных объектов, экстренными транспортными средствами, суровой погодой или неформальными взаимодействиями между водителями и пешеходами.
Текстовые объяснения модели также требуют внимательной проверки. Свободное изложение причин, по которым транспортное средство должно замедлиться, может звучать убедительно, даже если оно не связано причинно со структурой траектории. Исследователи отмечают, что согласованность между текстовыми рассуждениями и запланированным движением остаётся областью для улучшения. Этот разрыв важен, потому что объяснения полезны только тогда, когда они раскрывают фактическую основу действий системы.
Код и ресурсы модели может ускорить независимое тестирование. Университеты и поставщики, которые не могут обучить крупную модель для вождения с нуля, могут изучить архитектуру, воспроизвести эталонные тесты и адаптировать её к региональным данным. Лицензия Apache 2.0 снижает барьеры для коммерческих экспериментов, хотя любое развертывание всё равно потребует обширной валидации и соблюдения нормативных требований.
Открытый доступ также может выявить слабые места на ранней стадии. Исследователи могут создавать враждебные сцены, проверять географические искажения и сравнивать экспертное планирование с более простыми базовыми моделями. Проект публичный репозиторий дает этим командам конкретную реализацию для аудита. Это более здоровый путь, чем оценивать систему по кураторским видео. Автономное вождение имеет долгую историю демонстраций, которые казались решающими до того, как крайние случаи, затраты и эксплуатационные ограничения замедлили внедрение.
Более широкая стратегия Китая в области робототехники
Общая основа для вождения также может изменить отношения с поставщиками. Сегодня автопроизводители часто покупают отдельные компоненты восприятия, картирования и планирования, интерфейсы которых трудно обновлять. Общая модель может снизить объем работы по интеграции, но концентрирует больше поведения в одной обученной системе. Программы автомобилестроения потребуют контроля версий, который будет точно показывать, какая модель, набор данных и модуль планирования создали каждый выпуск, важный для безопасности.
Локальная адаптация особенно важна в Китае, где плотные города, электросамокаты, неформальное использование бордюров и быстро меняющееся дорожное строительство создают сцены, отличающиеся от североамериканских стандартов. Та же проблема возникает в обратном направлении, когда системы, обученные в Китае, экспортируются. Глобальная базовая модель нуждается в данных из разных регионов, а не в предположении, что масштаб сгладил местную культуру вождения.
Шаг Alibaba также отражает сближение исследований больших моделей и воплощённых систем в Китае. Поставщики облачных услуг хотят, чтобы их семейства моделей выходили за рамки чата и программирования и охватывали автомобили, склады и роботы. Модель для вождения создаёт потребность в обучающих данных, облачных вычислениях, симуляции и периферийном оборудовании, связывая выпуск исследования с более широкой промышленной экосистемой.
Для автопроизводителей главный вопрос заключается не в том, может ли одна модель заменить весь набор. Вопрос в том, может ли общая основа сократить дублирующее обучение в области восприятия, языка и планирования, при этом сохраняя детерминированное управление, необходимое для безопасности. Национальное управление безопасности дорожного движения США руководство по автоматическому вождению подчеркивает, что разработчики остаются ответственными за работу всей системы автомобиля, а не за один впечатляющий компонент.
Наиболее информативные следующие тесты будут связаны с переносом. Исследователям следует показать, насколько быстро Qwen-Drive адаптируется к новым расположениям камер, правилам дорожного движения и погодным условиям, не теряя откалиброванной неопределенности. Им также следует сообщать о показателях вмешательства и кластерах сбоев, а не только о средних баллах по эталонным тестам. Модель, которая улучшает поведение в обычных сценах, но уверенно ошибается в редких случаях, может сделать систему трудной для наблюдения.
Qwen-Drive значима, потому что предоставляет сообществу проверяемую и повторно используемую попытку соединить общую визуальную интеллигентность с физическим планированием. Это не доказательство того, что модель с 4 миллиардами параметров может управлять автомобилем без присмотра в реальном мире. Ценность выпуска будет определяться тем, что обнаружат независимые команды, когда перейдут за пределы основных эталонных тестов и заставят систему столкнуться с дорогами, которых она никогда не видела.
Темы: Alibaba, Qwen-Drive, автономные транспортные средства, модели «зрение-язык», робототехника