Google DeepMind представила новую систему робототехники под названием Gemini Robotics On-Device, которая позволяет роботам работать автономно без подключения к интернету. Эта система является развитием модели Gemini Robotics, выпущенной в марте текущего года. Ключевым преимуществом Gemini Robotics On-Device является возможность локального выполнения задач, что устраняет зависимость от сетевой инфраструктуры и обеспечивает более быструю реакцию.

Gemini Robotics On-Device поддерживает адаптацию к конкретным задачам с помощью естественно-языковых запросов. По данным Google, модель продемонстрировала производительность, сопоставимую с облачной версией Gemini Robotics, и превосходит другие локальные модели, хотя конкретные названия этих моделей не были указаны.

В демонстрационных материалах показана работа модели на различных роботах, включая распаковку пакетов и складывание одежды. В частности, хотя модель изначально была обучена на роботах ALOHA, её успешно адаптировали для работы с двухруким роботом Franka FR3 и гуманоидным роботом Apollo от Apptronik. Franka FR3 продемонстрировал способность выполнять задачи, такие как сборка на промышленном конвейере с объектами, которые ранее не были представлены в обучающей выборке.

Вместе с моделью Google DeepMind выпустила SDK под названием Gemini Robotics SDK, позволяющий разработчикам обучать роботов новым задачам с помощью физического симулятора MuJoCo. Процесс обучения предполагает демонстрацию роботам от 50 до 100 примеров выполнения задачи.

Google DeepMind не одинока в стремлении внедрить ИИ в робототехнику. Другие компании, такие как Nvidia, разрабатывают платформы для фундаментальных моделей для гуманоидов, Hugging Face занимается открытыми моделями и наборами данных для робототехники, а корейский стартап RLWRLD (при поддержке Mirae Asset) фокусируется на создании фундаментальных моделей для роботов.