Учёные из МФТИ и международных исследовательских центров разработали новую технологию стереозрения Un-ViTAStereo, позволяющую роботам и беспилотным автомобилям видеть мир объёмно и без слепых зон. Как рассказали в пресс-службе МФТИ, алгоритм определяет расстояние до объектов без использования дорогостоящих лидаров и ручной разметки, что делает его более доступным и универсальным.

Un-ViTAStereo обучается с помощью модели Depth Anything V2, которая оценивает относительную глубину объектов по одному изображению, распознавая тени, перспективу и перекрытия. Это позволяет алгоритму отбирать только те предсказания, которые согласуются с подсказками «наставника», повышая точность работы.

Система работает в три этапа: проверка каждого пикселя на соответствие подсказкам, поиск зелёных соседей для красных точек и построение контуров с помощью функции сглаживания диспаратности. В результате доля грубых ошибок на тесте беспилотников KITTI 2015 снизилась до 5%, что на 23% меньше опасных ошибок в определении расстояний до объектов.

В МФТИ  отмечают, что текущая версия Un-ViTAStereo — лишь начало. Учёные планируют создать самообучающуюся нейросеть, способную адаптироваться к разным средам, и использовать точные измерения лидаров для повышения точности. Новая технология открывает широкие перспективы для повышения безопасности и функциональности автономных систем. Исследование опубликовано в IEEE Transactions on Circuits and Systems for Video Technology.