Современные системы визуализации, используемые в смартфонах, устройствах виртуальной реальности (VR) и дополненной реальности (AR), постоянно совершенствуются в направлении компактности, эффективности и высокой производительности. Однако традиционные оптические системы, основанные на громоздких стеклянных линзах, имеют ограничения, такие как хроматические аберрации, низкая эффективность на нескольких длинах волн и большие физические размеры. Эти недостатки создают проблемы при проектировании меньших, более лёгких систем, которые создают высококачественные изображения.

Для преодоления этих проблем исследователи разработали металинзы — ультратонкие линзы, состоящие из наноструктур, которые могут манипулировать светом в наномасштабе. Несмотря на огромный потенциал для миниатюризации оптических систем, металинзы имеют свои проблемы, особенно когда дело доходит до захвата полноцветных изображений без искажений.

Металинза, состоящая из массива наноструктур с произвольными углами вращения, получает изображение, которое восстанавливается для создания выходного изображения, которое по качеству близко к исходному «истинному» изображению. Источник: Advanced Photonics (2024). DOI: 10.1117/1.AP.6.6.066002

В недавнем исследовании, опубликованном в журнале Advanced Photonics, исследователи представили инновационную, основанную на глубоком обучении, сквозную систему визуализации металинз, которая преодолевает многие из этих ограничений. Эта система объединяет массово производимую металинзу со специализированной структурой восстановления изображений на базе искусственного интеллекта.

Металинза изготавливается с использованием наноимпринтной литографии, масштабируемого и экономически эффективного метода, за которым следует атомное осаждение слоёв, что позволяет производить эти линзы в больших масштабах. Однако, как и большинство металинз, она подвержена хроматической аберрации и другим искажениям из-за взаимодействия со светом с разными длинами волн.

Чтобы решить эту проблему, модель глубокого обучения обучена распознавать и исправлять искажения цвета и размытость. В настоящий момент этот подход уникален, поскольку он учится на большом наборе данных изображений и применяет эти исправления к новым изображениям, полученным системой. Фреймворк восстановления изображений использует состязательное обучение, где две нейронные сети обучаются вместе. Одна сеть генерирует исправленные изображения, а другая оценивает их качество, стимулируя систему к постоянному улучшению.

(a) Наземные истинные изображения, (b) изображения металинзы, (c) изображения, реконструированные моделью. Центральная (красный прямоугольник) и внешняя (жёлтый прямоугольник) области изображений увеличены для доступа к восстановлению изображения металинзы при высоком и низком углах обзора. Источник: Advanced Photonics (2024). DOI: 10.1117/1.AP.6.6.066002

Кроме того, такие методы, как позиционное встраивание, помогают модели понять, как искажения изображения меняются в зависимости от угла обзора. Это приводит к значительным улучшениям в восстановленных изображениях, особенно с точки зрения точности цвета и резкости по всему полю зрения.

Система создаёт изображения, которые конкурируют с изображениями от традиционных линз, но в гораздо меньшем, более эффективном корпусе. Возможность массового производства высокопроизводительных металинз в сочетании с коррекцией на базе искусственного интеллекта приближает к компактным и лёгким системам формирования изображений как в коммерческих, так и в промышленных приложениях.

Подробнее на iXBT