ИИ превращает мысли человека в слова

Услышанная речь была восстановлена ​​на основе активности клеток мозга с помощью машинного обучения, что повысило возможность передачи голоса глухим и возможность говорить немым.

Когда мы говорим или слушаем кого-либо, часть мозга, называемая слуховой корой, становится активной, когда она обрабатывает речь. Когда кто-то теряет способность говорить из-за болезней или травм, а части нервной системы, необходимые для речевых движений, могут не работать, слуховая кора может оставаться невредимой. Например, человек с заболеванием двигательных нейронов, вероятно, имеет совершенно здоровую слуховую кору, но не может говорить из-за парализованных мышц. Но, изучая закономерности активности клеток головного мозга, которые возникают в слуховой коре, когда пациент слышит речь, ученые воссоздали речь искусственно с большей четкостью, чем когда-либо прежде, что является важным шагом к восстановлению речи для тех, кто ее потерял.

Исследование, опубликованное в журнале Scientific Reports, принадлежит группе Нима Месгерани из лаборатории нейроакустической обработки Колумбийского университета. По словам Месгерани, «то, что мы надеемся сделать, – это непосредственно читать речь человека из мозга, чтобы ему не приходилось фактически говорить это. По мере того, как создается мозговая активность, мы можем непосредственно обнаруживать и декодировать ее».

Этот тип восстановления речи изучался ранее, но Месгерани и его команда собрали две передовые технологии – машинное обучение и современное программное обеспечение для создания речи (подобное тем, которое используются в ваших виртуальных помощниках, Siri и Alexa), – чтобы воспроизвести более четкую речь, чем в предыдущих попытках.

Чтобы добиться этого, исследователи работали с пятью пациентами, которым проводилась операция на головном мозге для лечения эпилепсии, у всех из которых был нормальный слух, и помещали электроды непосредственно на поверхность слуховой коры в каждом из их мозгов. В то время как пациенты слушали 30 минут коротких рассказов, команда записывала нейронную активность, когда их мозг обрабатывал речь. Данные передавались через алгоритм машинного обучения, сложным набором инструкций, которые имитируют плотную сеть связей, обнаруживаемых в мозге, чтобы обучить алгоритм тому, как мозг обрабатывает речь.

Вот пример того, что исследователи давали пациентам слушать:

ИИ распознавал то,что пациент слышал, используя нейронную активность, записанную в слуховой коре:

Исследователи пошли еще дальше, объединив этот алгоритм машинного обучения с последними достижениями в программном обеспечении для создания речи, чтобы получить более четкий и понятный результат:

Сегменты рассказа были использованы для обучения алгоритма, чтобы научить его превращать нейронную деятельность в узнаваемую речь. Однако после того, как алгоритм был обучен, задача заключалась в том, чтобы снабдить его новыми данными нейронной активности и посмотреть, сможет ли он воспроизвести речь из этих данных. В этом случае исследователи читают цифры пациентам от нуля до девяти, и вы сами можете услышать, как это было при воспроизведении разговорных чисел из нейронной активности:

Как бы впечатляюще это ни звучало, модель, тем не менее, нуждается в адаптации и тонкой настройке, чтобы можно было воспроизводить не только слышимую речь, но и мысленную или воображаемую речь, поэтому у нас не будет алгоритма, говорящего за вас в ближайшее время. Но Месгерани с оптимизмом смотрит на преимущества, которые принесет технология:

“Идеальной целью было бы иметь имплантируемое устройство, которое способно обнаруживать и декодировать мозговую деятельность, которая отражает внутренний голос человека. Поэтому, когда человек пытается сказать что-то внутренне, мы сможем декодировать и перевести это на речь, так что человек будет иметь возможность общаться с помощью речи”.