- Asus придумала простой способ извлечения... (1447)
- В процессорах Ryzen нашли новую уязвимость —... (1231)
- В феврале будет запущен первый лунный центр... (1808)
- Самые продаваемые в России Chery Tiggo 4 и... (1385)
- МТС запустил сервис приватной связи Membrana... (1758)
- «Забытый» Kia Cerato российской сборки... (1189)
- В Великобритании создали мозговые имплантаты... (1469)
- «РОС — значит РОС, МКС — значит МКС», —... (1402)
- Corsair представила сверхбыстрый внешний SSD... (1508)
- Такого в России ещё не было: первая... (2110)
- Подскочившие цены уронили продажи... (1083)
- OpenAI наняла руководителя цепочки поставок... (1383)
- Вышла первая публичная бета-версия Android... (1020)
- Новые Chevrolet дешевле «пустой» Lada Vesta.... (1225)
- В Рунете — новый (1090)
- В России снова наблюдаются массовые проблемы... (1113)
Яндекс разрабатывает мультимодальную нейросеть SpeechGPT
Дата: 2024-06-03 20:23
Яндекс разрабатывает новую нейросеть под названием SpeechGPT и набирает для этого специалистов в области машинного обучения. На эту информацию в разделе вакансий компании обратило внимание издание «Коммерсантъ». Нейросеть SpeechGPT будет мультимодальной – способной обрабатывать разные виды вводных данных. Она должна уметь воспринимать текст и звук, отвечать текстом и звуком, решать разные задачи на стыке текста и звука, указано в описании.
![](https://www.ixbt.com/img//x780/n1/news/2024/5/1/futuristic-hand_large.jpg)
Некоторые сервисы Яндекса уже понимают вводные данные разных видов. Например, с ассистентом «Алиса» можно общаться как голосом, так и текстом, а возможность обрабатывать одновременно текст и картинки есть в сервисе «Нейро». Но между мультимодальным пользовательским опытом и мультимодальностью самой нейросети есть разница, считают эксперты: в первом случае данные переводятся из одного вида в другой.
Так, голосовой ассистент сначала преобразовывает речь в текст, затем его анализирует другая нейросеть, а уже третья превращает ответ обратно из текста в речь. Причём на каждом из этих шагов данные упрощаются. Мультимодальные модели учитывают контент разных типов без задержек и призваны улавливать эмоции, которые теряются при конвертации; так работает, к примеру, GPT-4o от OpenAI.
Аналитики полагают, что MVP-версия (минимально жизнеспособный продукт) SpeechGPT может появиться в ближайшие месяцы, а затем будет дорабатываться. Скорее всего, SpeechGPT будет встраиваться в уже существующие сервисы – будет происходить постепенная замена текущих нейросетевых моделей на более современные.
Подробнее на iXBT
Предыдущие новости
AMD приходится сравнивать монструозные 128-ядерные CPU Epyc с 64-ядерными Intel, потому что большего вторая не предлагает. Представлены Epyc поколения Turin
За анонсом новых настольных процессоров Ryzen 9000 и мобильных Ryzen AI 300 незаметно прошел анонс новых серверных CPU Epyc поколения Turin. А они выделяются как минимум количеством ядер. Анонс пока предварительный, но процессоры выйдут во втором полугодии. Новое поколение будет разделено на две линейки: на основе ядер Zen 5 и на основе Zen 5C. При этом название линейки,...
Дуров анонсировал масштабное секретное обновление Telegram на этой неделе
Основатель Telegram Павел Дуров анонсировал масштабное обновление Telegram, подробностей о котором пока что нет. На прошлой неделе мы получили еще одно большое обновление Telegram, которое включает в себя эффекты сообщений, подписи над фотографиями, поиск по хэштегам, свертываемые цитаты, действия для номеров телефонов в сообщениях и так далее. Павел Дуров Он также рассказал...
Социальная сеть X (ранее Twitter) официально разрешила публикацию порно и прочих материалов сексуального характера
Социальная сеть X (бывший Twitter) обновила свои правила, и теперь пользователям фактически разрешено публиковать порнографические материалы. Если точнее, разрешено делиться созданными и распространяемыми по обоюдному согласию изображениями наготы или сексуального поведения взрослых. Само собой, такой контент должен быть помечен соответствующим образом. Также подобные...
Sony анонсировала адаптер для подключения PlayStation VR2 к ПК — продажи начнутся в августе за $60
Меньше недели прошло с момента появления слухов о разработке Sony адаптера, поддерживающего подключение к ПК гарнитуры виртуальной реальности PlayStation VR2, и теперь компания официально сообщила о цене устройства и дате начала его продаж. Адаптер поступит в продажу 7 августа за $59,99. Источник изображения:...