Новая технология может переводить мозговые волны в текст с минимальными ошибками

Лайнуть/Поделиться

Спустя десятилетие после того, как речь была впервые расшифрована из сигналов человеческого мозга, точность и скорость остаются намного ниже, чем у естественной речи.

Однако, следуя последним достижениям в области машинного перевода, исследователи из США обучили искусственную нейронную сеть кодировать каждую последовательность длины предложения нейронной активности в абстрактное представление, а затем декодировать это представление, слово за словом, в английское предложение. Об этом сообщается в исследовании, опубликованном вчера в журнале Nature Neuroscience. По этой ссылке бесплатный доступ.

Cистема в настоящее время может преобразовать нейронную активность в текст с частотой ошибок всего 3 процента. В недалеком будущем можно было бы разработать технологию «чтения мыслей», чтобы помочь людям, которые не могут говорить.

Исследователи из Калифорнийского университета в Сан-Франциско обучили группу искусственных нейронных сетей (набор алгоритмов, смоделированных на основе функций человеческого мозга), чтобы связать нейронные сигналы с текстовыми предложениями.

Ученые собрали четырех человек с уже существующими внутричерепными электродами, которые контролируют электрическую активность при эпилепсии в головном мозге, и заставили их вслух читать предложения, пока записывалась их нервная активность. Затем сеть использовала эту информацию, чтобы узнать, какая нейронная активность может быть связана с такими особенностями речи, как гласные или согласные. Алгоритм также пытался понять, какие типы слов могут следовать друг от друга и как структурированы предложения.

После некоторого обучения он смог обеспечить довольно надежную транскрипцию нейронной активности с частотой ошибок всего 3 процента. Хотя в настоящее время он может обрабатывать только отдельные предложения в наборе из 250 слов, этот низкий коэффициент ошибок впечатляет, учитывая, что транскрипция речи профессионального уровня составляет около 5 процентов.

В настоящее время система полагается на то, что участники читают вслух предложения, что ограничивает ее способность помогать инвалидам с нарушениями речи. Но исследователи надеются провести работу над ошибками, а также расширить свою способность к отождествлению нейронной активности со структурами языка. Тем не менее, в настоящее время, по словам ученых, пройдет некоторое время, прежде чем технология сможет функционировать в качестве жизнеспособного речевого протеза.

Группе Нима Месгерани из лаборатории нейроакустической обработки Колумбийского университета также удалось декодировать речь из сигналов мозга с помощью ИИ, мы об этом писали 16-го марта в нашей статье(там можно послушать примеры декодирования).

Редакция

Опубликовала
Редакция
Метки: ИИИНС

Недавние публикации

Учёные выяснили, как на сердце влияет просмотр хоккейных матчей

Показатели сердцебиения хоккейных фанатов сопоставимы с сердечными нагрузками самих атлетов. Это выяснили канадские исследователи. Хоккей… Читать далее

12/08/2022

Почему любители азартных игр не учатся на своих ошибках: выводы учёного

В исследовании, проведённом доктором наук Марком Гриффитсом, изучались когнитивные отличия регулярных и нерегулярных игроков, которые… Читать далее

12/08/2022

Учёные разработали нейросеть для анализа спортивных достижений

Разработчики одного их политехнических университетов изобрели нейросеть, которая автоматически определяет объективный уровень атлета в данный… Читать далее

11/08/2022

На матчах без болельщиков футболисты вели себя спокойнее, чем обычно

В 2020 году многие футбольные матчи проходили без болельщиков на трибунах из-за угрозы распространения COVID-19.… Читать далее

11/08/2022

Исследователи определили самый безопасный игорный рынок в мире

Учёные мадридского университета Карлоса III провели исследования гемблинг-рынка страны, чтобы установить процент зависимых игроков. Глобальный… Читать далее

09/08/2022

Компания Nike совместно с RTFKT выпустила AR-толстовку

В 2021 году Nike стала владельцем компании RTFKT Studios, которая разрабатывает цифровую одежду. Вскоре после… Читать далее

09/08/2022