Meta* представила V-JEPA 2 – новую модель искусственного интеллекта, способную значительно продвинуть развитие робототехники и автоматизации физических процессов. В отличие от больших языковых моделей (LLM), которые превосходно работают с текстом, V-JEPA 2 обладает «физическим здравым смыслом», позволяющим ей понимать и предсказывать последствия действий в динамичной реальной среде. Это особенно актуально для таких отраслей, как производство и логистика, где критично понимание причинно-следственных связей.

Модель обучается на основе видеоданных и физических взаимодействий, создавая «модель мира» – внутреннюю симуляцию работы физического мира. Эта модель основана на трёх ключевых компонентах: понимании происходящего, предсказании изменений в результате действия и планировании последовательности действий для достижения цели. Архитектура V-JEPA (Video Joint Embedding Predictive Architecture) состоит из двух частей: «кодировщика», который обрабатывает видео и создаёт компактное численное представление (эмбеддинг), и «предиктора», который, используя это представление, предсказывает дальнейшее развитие событий.

В отличие от генеративных моделей ИИ, которые стремятся предсказать каждый пиксель будущего кадра, V-JEPA 2 работает в абстрактном пространстве, фокусируясь на главных характеристиках сцены (например, положение и траектория объекта), что делает её значительно эффективнее. Модель имеет всего 1,2 миллиарда параметров, что снижает вычислительные затраты и делает её пригодной для реального применения.

Обучение V-JEPA 2 проходит в два этапа. Сначала модель обучается без учителя на миллионе часов видео, развивая общее «понимание» физики. Затем, на втором этапе, её дообучают на небольшом специализированном наборе данных (62 часа видео работы робота), что позволяет связать действия с их физическими результатами. Это обеспечивает важную возможность – планирование для роботов. Робот, управляемый V-JEPA 2, может работать в новой среде и манипулировать незнакомыми объектами без дополнительного обучения.

В ходе тестирования модель показала эффективность от 65% до 80% при выполнении задач типа «возьми и поставь» с незнакомыми объектами в новых условиях. Это открывает широкие перспективы для бизнеса: более адаптивные роботы для логистики и производства, возможность создания реалистичных цифровых двойников для моделирования процессов и обучения других ИИ, а также предсказание потенциальных проблем и сбоев в промышленном оборудовании на основе видеопотоков.

Для технических специалистов в компаниях V-JEPA 2 предлагает подход «обучи один раз, разверни везде». Низкие затраты на обучение и компактность модели позволяют использовать её на обычных мощных графических процессорах, избегая облачных сервисов и связанных с ними проблем. Это открывает новые возможности для оптимизации затрат и ускорения разработки робототехнических решений.

* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена