Ученые создали вокодер, способный восстанавливать речь человека по движению губ
Группа ученых создала концепцию технологии, которая может восстанавливать речь человека лишь на основе движений его рта, сообщает журнал PLOS Computation Biology.
Технология работает с помощью специальных датчиков, которые крепятся на лице. Новая система поможет людям, страдающим от паралича или афазии, восстановить речь. Однако для полноценной реализации такого устройства необходимо сначала создать синтезатор речи, который позволит в режиме реального времени воссоздавать голосовой сигнал по небольшому набору параметров. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь всего лишь на информацию о движении органов речи человека.
В основе разработанного исследователями синтезатора речи лежит использование нейронной сети с тремя скрытыми слоями и устройства синтеза речи (вокодера). Нейросеть была обучена с помощью специальной базы данных о звуках, произносимых человеком, и соответствующих реакциях органов речи.
Для создания этой базы ученые подсоединили девять датчиков движения к небной занавеске, губам, языку и челюсти носителя французского языка. Компьютер считывал данные во время его разговора и в итоге записал почти 19 тысяч звуков и движений органов речи.
После обучения искусственный интеллект смог восстанавливать голосовой сигнал исключительно по движению губ человека. Речь, воспроизведенная компьютером, пока что не похожа на естественное звучание человеческого голоса, однако в ближайшее время ученые планируют работать и над этой функцией вокодера.
Эффективность технологии была проверена с помощью четырех носителей французского языка. Каждого из участников исследования попросили беззвучно произнести семь гласных и несколько последовательностей согласных и гласных. После этого 12 человек, также говорящих на французском языке, попытались определить по восстановленному голосовому сигналу, какой звук произнесли испытуемые.
По словам разработчиков, в будущем устройство может быть использовано для помощи людям с проблемами речевого тракта. Кроме того, технология поможет другим исследователям при работе над нейрокомпьютерными интерфейсами, которые будут воспроизводить речь человека только на основе сигналов его мозга.