Учёные из Института робототехники (RI) Университета Карнеги-Меллона разработали систему, которая позволяет роботам перемещать объекты в незнакомых условиях с большей точностью и скоростью. Эта система, названная Neural Motion Planning, использует единую, универсальную сеть искусственного интеллекта для выполнения планирования движения в различных бытовых условиях, таких как шкафы, посудомоечные машины и холодильники.

По словам Муртазы Далала из RI, «Иногда, когда вы запускаете робота, вы хотите, чтобы он работал в неструктурированных или неизвестных условиях — в условиях, где вы не можете предполагать, что знаете об обстановке всё». Однако классические методы планирования движения часто терпят неудачу в таких условиях, поскольку они слишком медленные и требуют множества тестов столкновениями.

Neural Motion Planning была вдохновлена тем, как люди собирают разнообразный опыт для практики и постепенного повышения мастерства. Приобретая новые навыки, люди начинают с медленного, неуверенного поведения и переходят к быстрым, динамичным движениям. Neural Motion Planning позволяет роботам быть более универсальными в незнакомых условиях и в целом адаптироваться при перемещении объектов.

Исследователи смоделировали миллионы сложных сред для обучения Neural Motion Planning. В этих симуляциях роботы сталкивались с домашней обстановкой — полками, ящиками, микроволновками, посудомоечными машинами, открытыми коробками и шкафами — и иногда им приходилось маневрировать вокруг случайных объектов, таких как щенок или ваза. Модели были обучены выполнять реактивное и быстрое планирование движений. Этот процесс и данные были дистиллированы в универсальную политику, поэтому, когда роботы тестировались в реальных условиях, они могли выполнять задачи в средах, отличных от тех, которые видели раньше.

«Мы увидели удивительные успехи в крупномасштабном обучении зрению и языку - вспомните ChatGPT — но не в робототехнике. Пока что такого не было. Наша работа — ступенька к этой цели. Neural Motion Planning использует простой рецепт обучения в масштабе в симуляции для получения большой степени обобщения в реальном мире. Он работает в сценах с различным фоном, объектами, препятствиями и даже целыми сценами», — сказал Дипак Патхак, доцент кафедры Раджа Редди в RI.

При использовании на роботизированной руке в лаборатории Neural Motion Planning успешно перемещалась в незнакомых условиях. Роботизированной системе было предоставлено трёхмерное представление начальной точки сцены, созданное с помощью глубинных камер, и указана целевая позиция — где исследователи хотели, чтобы роботизированная рука оказалась в конечном итоге. Затем Neural Motion Planning предоставила конфигурации суставов для перемещения роботизированной руки из начальной точки в конечную.

«Было волнительно наблюдать, как модель ловко обходит разнообразные бытовые препятствия, включая лампы, растения, книжные шкафы и дверцы шкафов, одновременно перемещая руку робота для выполнения задач. Это стало возможно благодаря масштабированию генерации данных, следуя рецепту, похожему на успех машинного обучения в области зрения и языка», — сказал студент магистратуры RI Цзяхуэй Ян.