Учёные из Калифорнийского университета в Дэвисе сообщили о значительном прорыве в области нейропротезирования речи. Группа исследователей под руководством Сергея Ставиского и Майтрейи Вайрагкар разработала и успешно применила технологию, позволяющую человеку, потерявшему способность говорить из-за бокового амиотрофического склероза (БАС), вести полноценные разговоры в режиме реального времени, а также петь.

Достижение заключается в создании интерфейса «мозг-компьютер», который с беспрецедентной скоростью – всего 25 миллисекунд – преобразует нейронную активность в синтезированную речь. Для этого в мозг пациента были имплантированы 256 электродов, регистрирующих активность участков, отвечающих за контроль мимических мышц, задействованных в речи. В ходе многочисленных сессий участнику исследования демонстрировались предложения, которые он пытался произнести вслух, варьируя интонацию. Эта информация, включая данные о нейронной активности, была использована для обучения модели искусственного интеллекта.

Источник: Lisa E Howard / Maitreyee Wairagkar et al. 2025

Модель ИИ научилась сопоставлять специфические паттерны нейронной активности со словами и интонациями, которые пытался воспроизвести пациент. В результате система генерирует речь, отражающую не только смысл высказывания, но и его эмоциональную окраску. Более того, исследователи использовали технологию клонирования голоса, обучив ИИ на записях речи пациента, сделанных до развития заболевания. Это позволило создать синтезированный голос, максимально приближенный к его естественному тембру.

Уникальность данной технологии заключается в её скорости. Существующие нейропротезы речи обычно требуют нескольких секунд на обработку данных, что затрудняет естественное общение. Новая система позволяет общаться практически без задержек, обеспечивая возможность прерываний, уточнений и мгновенных ответов. По словам Майтрейи Вайрагкар, пациент, несмотря на необходимость дальнейшего совершенствования системы для повышения разборчивости речи, отмечает, что чувствует себя счастливым, и воспринимает синтезированный голос как свой собственный.

Эксперименты показали, что система позволяет не только говорить, но и петь простые мелодии, правильно передавая высоту тона. Пациент также успешно использовал систему для произвольного воспроизведения звуков, междометий и даже выдуманных слов. Член исследовательской группы Дэвид Брэндман подчеркнул, что пациент, ранее полностью парализованный и лишённый возможности говорить, теперь может работать полный рабочий день и вести полноценную жизнь. Эта разработка открывает новые перспективы для людей с нарушениями речи, вызванными различными неврологическими заболеваниями.

Подробнее на iXBT