Подписаться на новости
  • Сенатор
  • ООО "Ай Вао"
  • Vitacoin

Помощь парализованным

Две нейросети преобразовали сигналы мозга в человеческую речь

Но разобрать ее все еще непросто

Евгения Щербина, «Чердак»

Нейробиологи из Калифорнийского университета в Сан-Франциско придумали систему, которая преобразует сигналы мозга в звуки речи. Для этого они использовали две нейросети и синтезатор речи. Такая система, считают авторы, после усовершенствования может помочь говорить парализованным.

Из-за разного рода параличей некоторые пациенты теряют возможность говорить. Одним из самых известных подобных больных был страдавший от бокового амиотрофического склероза Стивен Хокинг. Ученый пользовался специальным дорогим синтезатором речи, который сделали специально для него.

Аналогичные интерфейсы часто основываются, например, на движениях головы или глаз пациента. Этими движениями больные управляют курсором и выбирают таким образом буквы на экране. Однако такое общение гораздо более медленное, чем естественная речь. Поэтому специалисты работают и в другом направлении, создавая интерфейсы «мозг-компьютер», которые могли бы напрямую считывать сигналы мозга и преобразовывать их в слова.

Как раз такой интерфейс из двух рекуррентных нейросетей и синтезатора речи создали американские исследователи. Такая двухступенчатая система нужна потому, что кора головного мозга имеет дело не напрямую со словами. Она координирует только движения органов речи, которые эти слова произносят, поэтому ученые и прибегли к двойной дешифровке.

Статья Anumanchipalli et al. Speech synthesis from neural decoding of spoken sentences опубликована в журнале Nature.

Чтобы получить исходные данные для работы, ученые использовали пятерых пациентов, которые лечились от эпилепсии. Во время терапии они проговаривали вслух несколько сотен предложений, а ученые во время этого считывали с поверхности коры их головного мозга электрические сигналы при помощи электрокортикографии.

Speech.jpg

Набор электродов, с помощью которых с речевых центров мозга пациентов считывались сигналы, которые впоследствии преобразовывались в речь.

Дальше в дело вступали две нейросети. Первая преобразовывала эти электрические сигналы в кинематические, то есть в сигналы о том, как должны двигаться язык, губы и гортань. Вторая преобразовывала кинематические сигналы в акустические характеристики: высоту, частоту, просодии (неречевые компоненты, например паузы между словами) и другие параметры. Затем на основе этих акустических характеристик синтезатор речи создавал аудиосигнал.

Синтезированные таким образом слова и целые предложения ученые давали послушать добровольцам, которых набрали на сайте Amazon Mechanical Turk. Те должны были записать, что они слышат, выбирая заранее предложенные слова из списка в 25 или 50 слов. Всего в тесте участвовало 1755 человек, которые выполняли 16 разных заданий. Они правильно разобрали 43% слов в том случае, когда выбирать надо было из 25, и 21% слов, если выбирать приходилось из 50 вариантов. Как и в случае с обычной живой речью, понять слово было тем проще, чем оно было длиннее.

Дальнейшие тесты своего декодера ученые проводили на одном человеке, который не только произносил слова вслух, но и просто повторял мимические движения, не произнося при этом ничего. Во втором случае система тоже справлялась с расшифровкой слов, хотя и хуже, чем тогда, когда люди говорили вслух.

Хотя расшифровка речи с помощью новой системы еще далека от идеала, ученые считают, что продвинулись в создании устройств, которые будут дешифровать речь прямо из мозга в реальном времени, что позволит парализованным пациентам общаться в естественном темпе и к тому же передавать интонации и другие элементы речи, недоступные при ее наборе на экране монитора.

Портал «Вечная молодость» http://vechnayamolodost.ru


Читать статьи по темам:

интерфейс мозг-компьютер имплантаты Версия для печати
Ошибка в тексте?
Выдели ее и нажми ctrl + enter
назад

Читать также:

Крысы-киборги

Исследователи из Массачусетса смогли управлять поведением крыс с помощью крохотного беспроводного нейростимулятора.

читать

Люди-киборги – уже реальность?

Технологи развиваются так стремительно, что сегодня то, что ранее казалось фантастикой, становится реальностью. В том числе внедренные в человеческий организм электронные устройства.

читать

Имплантат без имплантации

Исследователи из Гарварда скоро начнут испытания на обезьянах имплантата, который не требует хирургического вмешательства и устанавливается снаружи черепной коробки.

читать

Новая надежда для парализованных

Технологии восстановления разорванных в результате травмы или болезни связей между мозгом и нервными узлами конечностей тела становятся все ближе к реальности.

читать

А вы хотели бы стать киборгом?

Энтузиазм учёных относительно нашего киборгизированного будущего далеко не всегда вызывает энтузиазм у обычных людей. Причём одно дело протез, и совсем другое, когда нам обещают массово что-то имплантировать в мозг.

читать