Яндекс разрабатывает новую нейросеть под названием SpeechGPT и набирает для этого специалистов в области машинного обучения. На эту информацию в разделе вакансий компании обратило внимание издание «Коммерсантъ». Нейросеть SpeechGPT будет мультимодальной – способной обрабатывать разные виды вводных данных. Она должна уметь воспринимать текст и звук, отвечать текстом и звуком, решать разные задачи на стыке текста и звука, указано в описании.

Некоторые сервисы Яндекса уже понимают вводные данные разных видов. Например, с ассистентом «Алиса» можно общаться как голосом, так и текстом, а возможность обрабатывать одновременно текст и картинки есть в сервисе «Нейро». Но между мультимодальным пользовательским опытом и мультимодальностью самой нейросети есть разница, считают эксперты: в первом случае данные переводятся из одного вида в другой. 

Так, голосовой ассистент сначала преобразовывает речь в текст, затем его анализирует другая нейросеть, а уже третья превращает ответ обратно из текста в речь. Причём на каждом из этих шагов данные упрощаются. Мультимодальные модели учитывают контент разных типов без задержек и призваны улавливать эмоции, которые теряются при конвертации; так работает, к примеру, GPT-4o от OpenAI.

Аналитики полагают, что MVP-версия (минимально жизнеспособный продукт) SpeechGPT может появиться в ближайшие месяцы, а затем будет дорабатываться. Скорее всего, SpeechGPT будет встраиваться в уже существующие сервисы – будет происходить постепенная замена текущих нейросетевых моделей на более современные.