Компания Renesas Electronics, известная как поставщик передовых полупроводниковых решений, и компания Syntiant, занимающаяся разработкой микросхем глубокого обучения для интеллектуальной обработки голоса и показаний датчиков в краевых устройствах, объявили о совместной разработке мультимодального решения с ИИ и голосовым управлением. Как утверждается, оно обеспечивает бесконтактное взаимодействие и обработку изображений в системах интернета вещей на основе искусственного интеллекта и в краевых системах, таких как автоматы самообслуживания, камеры видеонаблюдения и системы видеоконференцсвязи, а также умные устройства, такие как роботы-уборщики.

Решение включают микропроцессор системы машинного зрения Renesas RZ/V с поддержкой средств ИИ и «нейронный процессор решений» (Neural Decision Processor) Syntiant NDP120 для голосового интерфейса и обработки изображений, характеризующийся низким энергопотреблением. Совместная работа этих компонентов обеспечивает постоянную работу с быстрой активацией из режима ожидания по голосу для выполнения распознавания объектов, распознавания лиц и других задач, связанных со зрением, которые являются критически важными функциями в камерах безопасности и других системах. Например, в то время как определяемые пользователем голосовые подсказки управляют активацией и работой системы, функция распознавания ИИ отслеживает поведение оператора и контролирует работу или выдает предупреждение при обнаружении подозрительных действий.

Мультимодальным это решение называется потому, что оно позволяет задействовать два канала — визуальный и голосовой. Такая архитектура упрощает создание бесконтактных пользовательских интерфейсов для систем на основе искусственного интеллекта. Использование специального энергоэффективного чипа для распознавания голоса снижает энергопотребление в режиме ожидания и ускоряет разработку системы, поскольку можно разрабатывать программное обеспечение независимо от функциональности, связанной с ИИ для машинного зрения.

Эталонный дизайн нового мультимодального решения уже доступен, включая принципиальные схемы и номенклатуру компонентов.