Модели OpenAI за часы обучили виртуального робота Microduck

Модели OpenAI GPT-6 Sol и Astra использовали для обучения виртуального робота Microduck от Pollen Robotics и Hugging Face: он ходил по комнате и распознавал бенгальскую кошку, а работа заняла несколько часов вместо возможных недель. В тесте применялись Nvidia Isaac Sim, агентская среда Hermes от Nous Research и компьютер Nvidia DGX Spark. Результат указывает на ускорение обучения роботов для производства и электронной торговли, хотя надежная работа в реальном мире остается сложной.

Как виртуальная утка училась ходить и смотреть

Автор обучил симулированного Microduck двигаться без падений: GPT-6 Sol передавала инструкции управляющей модели, анализировала видео виртуального робота и предлагала изменения в обучении. Физический Microduck в будущем должен выдавать лакомство домашней бенгальской кошке по кличке Леона, возможно, наклоняя голову, чтобы угощение выпадало из напечатанной на 3D-принтере камеры на голове. Попытка научить робота лунной походке по GIF с Майклом Джексоном дала лишь бодрый бег назад. Система зрения для поиска кошек, по оценке автора, пока недостаточно хороша для реального продукта.

Профессор Калифорнийского университета в Беркли Кен Голдберг и его студенты проверили Astra после выхода модели в сентябре для создания детальных симуляций, нужных при обучении роботов. Один сотрудник лаборатории дал Astra доступ к инструменту Nvidia Newton, показал видеозапись реального робота и попросил создать симуляцию сцены. Через час была готова полная 3D-симуляция с положением камеры, освещением, фоном и материалами, рассказал Голдберг. По его словам, Astra также автоматизировала значительную часть рутинной работы, запуская эксперименты и анализируя результаты.

Что ускоренное обучение роботов меняет в работе

Исследователь Nvidia Джим Фан, сотрудничавший с Голдбергом, отметил, что управление роботами теперь похоже на работу программных агентов: языковые модели используют модели визуально-языкового действия для физических операций так же, как обращаются к программам. На этой неделе Фан, Голдберг и другие открыли агентский фреймворк Aspire, позволяющий роботу находить и осваивать новые навыки. На конференции Conference on Robot Learning в Остине, штат Техас, Фан показал, как Astra управляет рукой робота и рисует мост Золотые Ворота nearby красками и кистями, а также пример, где Astra научилась решать кубик Рубика двумя роботизированными руками. По словам Голдберга, подходом уже интересуются промышленные робототехнические компании.

Речь идет об одном журналистском тесте и лабораторных демонстрациях, а не о доказательстве, что поведение из симуляции точно переносится на физических роботов. Сложные задачи вроде танцующих гуманоидов или захвата рукой робота по-прежнему требуют очень точных симуляций и серьезной инженерной работы. Выводы касаются симуляции и прототипирования, а не потребителей и рабочих мест без доступа к тем же моделям, программам Nvidia и вычислительным ресурсам.