Нейробиология(мозг)

ИИ превращает мысли человека в слова

Лайнуть/Поделиться

Услышанная речь была восстановлена ​​на основе активности клеток мозга с помощью машинного обучения, что повысило возможность передачи голоса глухим и возможность говорить немым.

Когда мы говорим или слушаем кого-либо, часть мозга, называемая слуховой корой, становится активной, когда она обрабатывает речь. Когда кто-то теряет способность говорить из-за болезней или травм, а части нервной системы, необходимые для речевых движений, могут не работать, слуховая кора может оставаться невредимой. Например, человек с заболеванием двигательных нейронов, вероятно, имеет совершенно здоровую слуховую кору, но не может говорить из-за парализованных мышц. Но, изучая закономерности активности клеток головного мозга, которые возникают в слуховой коре, когда пациент слышит речь, ученые воссоздали речь искусственно с большей четкостью, чем когда-либо прежде, что является важным шагом к восстановлению речи для тех, кто ее потерял.

Исследование, опубликованное в журнале Scientific Reports, принадлежит группе Нима Месгерани из лаборатории нейроакустической обработки Колумбийского университета. По словам Месгерани, «то, что мы надеемся сделать, – это непосредственно читать речь человека из мозга, чтобы ему не приходилось фактически говорить это. По мере того, как создается мозговая активность, мы можем непосредственно обнаруживать и декодировать ее».

Этот тип восстановления речи изучался ранее, но Месгерани и его команда собрали две передовые технологии – машинное обучение и современное программное обеспечение для создания речи (подобное тем, которое используются в ваших виртуальных помощниках, Siri и Alexa), – чтобы воспроизвести более четкую речь, чем в предыдущих попытках.

Чтобы добиться этого, исследователи работали с пятью пациентами, которым проводилась операция на головном мозге для лечения эпилепсии, у всех из которых был нормальный слух, и помещали электроды непосредственно на поверхность слуховой коры в каждом из их мозгов. В то время как пациенты слушали 30 минут коротких рассказов, команда записывала нейронную активность, когда их мозг обрабатывал речь. Данные передавались через алгоритм машинного обучения, сложным набором инструкций, которые имитируют плотную сеть связей, обнаруживаемых в мозге, чтобы обучить алгоритм тому, как мозг обрабатывает речь.

Вот пример того, что исследователи давали пациентам слушать:

ИИ распознавал то,что пациент слышал, используя нейронную активность, записанную в слуховой коре:

Исследователи пошли еще дальше, объединив этот алгоритм машинного обучения с последними достижениями в программном обеспечении для создания речи, чтобы получить более четкий и понятный результат:

Сегменты рассказа были использованы для обучения алгоритма, чтобы научить его превращать нейронную деятельность в узнаваемую речь. Однако после того, как алгоритм был обучен, задача заключалась в том, чтобы снабдить его новыми данными нейронной активности и посмотреть, сможет ли он воспроизвести речь из этих данных. В этом случае исследователи читают цифры пациентам от нуля до девяти, и вы сами можете услышать, как это было при воспроизведении разговорных чисел из нейронной активности:

Как бы впечатляюще это ни звучало, модель, тем не менее, нуждается в адаптации и тонкой настройке, чтобы можно было воспроизводить не только слышимую речь, но и мысленную или воображаемую речь, поэтому у нас не будет алгоритма, говорящего за вас в ближайшее время. Но Месгерани с оптимизмом смотрит на преимущества, которые принесет технология:

“Идеальной целью было бы иметь имплантируемое устройство, которое способно обнаруживать и декодировать мозговую деятельность, которая отражает внутренний голос человека. Поэтому, когда человек пытается сказать что-то внутренне, мы сможем декодировать и перевести это на речь, так что человек будет иметь возможность общаться с помощью речи”.

Редакция

Метки: ИИ

Недавние публикации

Пчелы с высокой точностью обнаруживают биомаркеры рака легких

Недавнее исследование, опубликованное в журнале Biosensors and Bioelectronics, говорит о том, что пчелы могут стать важным инструментом для раннего… Читать далее

06/07/2024

Прием препаратов для снижения веса(Ozempic), возможно, повышает риск развития слепоты

Исследование, проведенное в клинике Mass Eye and Ear, выявило связь между широко назначаемыми препаратами для… Читать далее

05/07/2024

Запрет на аборты коррелирует с увеличением смертности новорожденных и младенцев

Закон штата Техас, запрещающий аборты на ранних сроках беременности, ассоциируется с резким увеличением числа смертей… Читать далее

01/07/2024

От размытого изображения к 3D-модели толстого кишечника

Капсульные камеры позволяют почти незаметно и без боли исследовать все уголки кишечника, пока пациент занимается… Читать далее

27/06/2024

Выявлены области мозга, которые искажают реакцию мозга на удовольствие при биполярном расстройстве

Недавнее исследование, проведенное учеными из Университетского колледжа Лондона (UCL), проливает свет на то, как мозг… Читать далее

22/06/2024

Смотреть на экран или в камеру? Что лучше для онлайн-собеседования? Исследование

Исследование японских ученых, опубликованное в журнале Scientific Reports 31 мая, свидетельствует о том, что взгляд… Читать далее

18/06/2024