Инженеры MIT и NVIDIA представили фреймворк для корректировки действий роботов в реальном времени с помощью интуитивных методов взаимодействия. Система не требует сбора дополнительных данных или переобучения нейросетевой модели, что отличает её от традиционных подходов. Пользователи могут направлять робота через выбор объектов на экране, рисование траектории или физическое перемещение манипулятора, сохраняя при этом работоспособность действий.

Основная проблема современных робототехнических систем — несоответствие предобученных моделей реальным сценариям. Например, робот, обученный перемещать коробки, может столкнуться с трудностями при работе с полками другой ориентации. Обычно это требует длительной перетренировки модели, но новый метод позволяет вносить коррективы непосредственно во время выполнения задачи.

Как отметил Феликс Вань, ведущий автор исследования: «Пользователи ожидают, что робот будет работать “из коробки”, а при ошибках — смогут интуитивно его перенастроить. Именно эту задачу мы решаем».

Фреймворк использует предобученные генеративные ИИ-модели, которые создают допустимые последовательности действий. Однако вместо слепого следования инструкциям система анализирует пользовательские правки через специальную процедуру сэмплирования. Это позволяет роботу выбирать оптимальные действия из набора валидных вариантов, избегая коллизий или других недопустимых операций. Например, если человек физически направляет манипулятор к нужной области, то алгоритм учитывает не только траекторию, но и контекст окружения.

«Физическое взаимодействие — самый прямой способ передать намерение без потери информации», — пояснил Вань.

В испытаниях система показала на 21% более высокую эффективность по сравнению с методами без обратной связи. В тестах с роборукой в миниатюрной кухне коррекции позволяли исправлять ошибки в процессе работы, а не после завершения задачи. При этом повторяющиеся правки автоматически фиксируются и улучшают будущее поведение робота — например, после нескольких корректировок выбора ёмкости точность действий возрастает, снижая необходимость дальнейшего вмешательства.

Разработка открывает путь к созданию адаптивных роботов, способных обучаться «на лету» без экспертного вмешательства. Это особенно важно для бытовых и промышленных сценариев, где условия работы часто меняются, а пользователи не обладают навыками программирования.