Неврологи расшифровали песню Pink Floyd по мозговой активности, выявив области, связанные с ритмом и вокалом

Неврологи регистрировали электрическую активность участков мозга (желтые и красные точки), когда пациенты слушали песню Pink Floyd “Another Brick in the Wall, Part 1”. Используя программное обеспечение искусственного интеллекта, они смогли реконструировать песню по записям мозга. Это первый случай, когда песня была восстановлена по записям внутричерепной электроэнцефалографии.

В то время как аккорды песни Pink Floyd “Another Brick in the Wall, Part 1” заполняли больничную палату, неврологи из Медицинского центра Олбани старательно регистрировали активность электродов, установленных на мозге пациентов, которых готовили к операции по удалению очагов эпилепсии.

Цель? Зафиксировать электрическую активность участков мозга, настроенных на атрибуты музыки – тон, ритм, гармонию и слова, – и посмотреть, смогут ли они восстановить услышанное пациентом.

Более десяти лет спустя, после детального анализа данных 29 таких пациентов, проведенного нейробиологами из Калифорнийского университета в Беркли, ответ был однозначно положительным.

Фраза “All in all it was just a brick in the wall” звучит в восстановленной песне вполне узнаваемо: ритм не нарушен, слова нечеткие, но поддаются расшифровке. Это первый случай, когда исследователи восстановили узнаваемую песню по записям мозга.

Реконструкция показывает возможность записи и трансляции мозговых волн для улавливания музыкальных элементов речи, а также слогов. У человека эти музыкальные элементы, называемые просодией – ритм, ударение, акцент и интонация, – несут в себе смысл, который не передают одни только слова.

Поскольку запись с помощью внутричерепной электроэнцефалографии (ВЧЭГ) может производиться только с поверхности мозга – максимально близко к слуховым центрам, – в ближайшее время никто не будет подслушивать песни, звучащие в вашей голове.

Но для людей, испытывающих трудности в общении, будь то инсульт или паралич, такие записи с помощью электродов на поверхности мозга могли бы помочь воспроизвести музыкальность речи, которой не хватает в современных роботизированных реконструкциях.

“Это замечательный результат”, – сказал Роберт Найт, невролог и профессор психологии Калифорнийского университета в Беркли в Институте нейронаук имени Хелен Уиллс, который проводил исследование вместе с постдокторантом Людовиком Белье. “Для меня одна из особенностей музыки заключается в том, что она обладает просодией и эмоциональным содержанием. По мере того как развивается вся область интерфейсов мозг-машина, это дает возможность добавить музыкальность в будущие мозговые имплантаты для людей, которые в этом нуждаются, например, для тех, у кого боковой амиотрофический склероз(ALS) или другое неврологическое расстройство или нарушение развития, нарушающее речевой аппарат. Это дает возможность декодировать не только лингвистическое содержание, но и некоторые просодические характеристики речи, некоторые аффекты. Я думаю, что это то, в чем мы действительно начали разбираться”.

По мере совершенствования методов регистрации мозга, возможно, когда-нибудь удастся делать такие записи без вскрытия мозга, возможно, с помощью чувствительных электродов, прикрепляемых к коже головы. В настоящее время с помощью скальп-ЭЭГ можно измерить активность мозга, чтобы выделить отдельную букву из потока букв, но для идентификации одной буквы требуется не менее 20 секунд, что делает общение трудоемким и затруднительным, говорит Найт.

“Неинвазивные методы сегодня просто недостаточно точны. Будем надеяться, что в будущем мы сможем, используя только электроды, расположенные снаружи на черепе, считывать активность из более глубоких областей мозга с хорошим качеством сигнала. Но мы еще далеки от этого”, – сказал Белье.

Белье, Найт и их коллеги сообщили о полученных результатах вчера(15.08.2023) в журнале PLOS Biology, отметив, что они добавили “еще один кирпичик в стену нашего понимания обработки музыки в человеческом мозге”.

Читаете мысли? Пока нет.

Машинные интерфейсы мозга, используемые сегодня для помощи людям в общении, когда они не могут говорить, могут декодировать слова, но предложения получаются роботизированными, как у покойного Стивена Хокинга, когда он использовал устройство, генерирующее речь.

“В настоящее время эта технология больше похожа на клавиатуру для ума”, – говорит Белье. “Вы не можете прочитать свои мысли. Нельзя читать мысли с клавиатуры. Нужно нажимать на кнопки. И это делает голос как бы роботизированным; конечно, здесь меньше того, что я называю экспрессивной свободой”.

В 2012 году Найт, аспирант Брайан Пэсли и их коллеги впервые восстановили слова, которые слышал человек, только по записям активности мозга.

В последнее время другие исследователи пошли гораздо дальше, чем Найт. Эдди Чанг, нейрохирург из Калифорнийского университета в Сан-Франциско и старший соавтор работы 2012 года, записал сигналы из двигательной области мозга, связанной с движениями челюсти, губ и языка, чтобы восстановить речь парализованного пациента, а слова вывести на экран компьютера.

В этой работе, о которой сообщалось в 2021 году, использовался искусственный интеллект для интерпретации записей мозга пациента, пытавшегося произнести предложение на основе набора из 50 слов.

Хотя методика Чанга оказалась успешной, новое исследование предполагает, что запись из слуховых областей мозга, где обрабатываются все аспекты звука, может улавливать и другие аспекты речи, важные для человеческого общения.

“Декодирование из слуховой коры, которая ближе к акустике звуков, в отличие от моторной коры, которая ближе к движениям, выполняемым для создания акустики речи, является очень перспективным”, – добавил Белье. “Это придаст немного цвета тому, что декодируется”.

Для нового исследования Белье повторно проанализировал записи мозга, полученные в 2008 и 2015 годах, когда пациентам проигрывали примерно 3-минутную песню Pink Floyd из альбома 1979 года The Wall. Он надеялся выйти за рамки предыдущих исследований, в которых проверялось, могут ли модели декодирования идентифицировать различные музыкальные произведения и жанры, и фактически восстановить музыкальные фразы с помощью моделей декодирования, основанных на регрессии.

Белье подчеркнул, что исследование, в котором искусственный интеллект использовался для декодирования активности мозга и последующего кодирования воспроизведения, не просто создало “черный ящик” для синтеза речи. Ему и его коллегам также удалось определить новые области мозга, участвующие в распознавании ритма, например, звучания гитары, и обнаружить, что некоторые участки слуховой коры – в верхней височной извилине, расположенной сразу за и над ухом, – реагируют на начало звучания голоса или синтезатора, в то время как другие участки реагируют на продолжительный вокал.

Исследователи также подтвердили, что правая сторона мозга более восприимчива к музыке, чем левая.

“Язык – это больше левая часть мозга. Музыка более распределена, с уклоном в правую сторону”, – сказал Найт.

“Было неясно, что так же будет и с музыкальными стимулами”, – сказал Белье. “И вот мы подтверждаем, что это не просто специфическое для речи явление, а более фундаментальное для слуховой системы и того, как она обрабатывает и речь, и музыку”.

Найт приступает к новым исследованиям, направленным на изучение мозговых схем, которые позволяют некоторым людям с афазией, вызванной инсультом или повреждением мозга, общаться с помощью пения, когда они не могут найти слов для самовыражения.

Соавторами статьи являются также аспиранты Института неврологии Хелен Уиллс Анаис Ллоренс и Дебора Марсиано, Айсегуль Гундуз из Университета Флориды, Гервин Шальк и Питер Бруннер из Медицинского колледжа Олбани в Нью-Йорке и Вашингтонского университета, которые проводили запись мозга.