Новая технология может переводить мозговые волны в текст с минимальными ошибками

Спустя десятилетие после того, как речь была впервые расшифрована из сигналов человеческого мозга, точность и скорость остаются намного ниже, чем у естественной речи.

Однако, следуя последним достижениям в области машинного перевода, исследователи из США обучили искусственную нейронную сеть кодировать каждую последовательность длины предложения нейронной активности в абстрактное представление, а затем декодировать это представление, слово за словом, в английское предложение. Об этом сообщается в исследовании, опубликованном вчера в журнале Nature Neuroscience. По этой ссылке бесплатный доступ.

Cистема в настоящее время может преобразовать нейронную активность в текст с частотой ошибок всего 3 процента. В недалеком будущем можно было бы разработать технологию «чтения мыслей», чтобы помочь людям, которые не могут говорить.

Исследователи из Калифорнийского университета в Сан-Франциско обучили группу искусственных нейронных сетей (набор алгоритмов, смоделированных на основе функций человеческого мозга), чтобы связать нейронные сигналы с текстовыми предложениями.

Ученые собрали четырех человек с уже существующими внутричерепными электродами, которые контролируют электрическую активность при эпилепсии в головном мозге, и заставили их вслух читать предложения, пока записывалась их нервная активность. Затем сеть использовала эту информацию, чтобы узнать, какая нейронная активность может быть связана с такими особенностями речи, как гласные или согласные. Алгоритм также пытался понять, какие типы слов могут следовать друг от друга и как структурированы предложения. 

После некоторого обучения он смог обеспечить довольно надежную транскрипцию нейронной активности с частотой ошибок всего 3 процента. Хотя в настоящее время он может обрабатывать только отдельные предложения в наборе из 250 слов, этот низкий коэффициент ошибок впечатляет, учитывая, что транскрипция речи профессионального уровня составляет около 5 процентов.

В настоящее время система полагается на то, что участники читают вслух предложения, что ограничивает ее способность помогать инвалидам с нарушениями речи. Но исследователи надеются провести работу над ошибками, а также расширить свою способность к отождествлению нейронной активности со структурами языка. Тем не менее, в настоящее время, по словам ученых, пройдет некоторое время, прежде чем технология сможет функционировать в качестве жизнеспособного речевого протеза.

Группе Нима Месгерани из лаборатории нейроакустической обработки Колумбийского университета также удалось декодировать речь из сигналов мозга с помощью ИИ, мы об этом писали 16-го марта в нашей статье(там можно послушать примеры декодирования).