Нейробиология(мозг)

Новое исследование проливает свет на то, как мозг учится искать вознаграждение

Лайнуть/Поделиться

Вознаграждение не просто подкрепляет конкретное действие – оно быстро меняет всю модель нашего поведения.

Представьте, что вы учите собаку играть в мяч. Вы бросаете мяч, собака бежит за ним, подхватывает его и бежит обратно. Затем вы награждаете своего запыхавшегося щенка лакомством. И теперь собака должна понять, какая часть последовательности действий принесла ей лакомство. Ученые называют это “проблемой предназначения похвалы” в мозге. Это фундаментальный вопрос о том, как понять, какие действия ответственны за положительные результаты, которые мы испытываем.

Известно, что дофамин, ключевой химический мессенджер в мозге, играет решающую роль в этом процессе. Но как именно мозг связывает конкретные действия с выбросом дофамина, до сих пор остается неясным.

Исследование, опубликованное вчера, 13.12.2023, в журнале Nature учеными из Института Аллена, Института поведения мозга Цукермана при Колумбийском университете, Центра Шампалимо и Детского научно-исследовательского института Сиэтла, проливает новый свет на эту загадку. Оно показывает, как дофамин не только сигнализирует о вознаграждении, но и помогает животным методом проб и ошибок выбирать конкретные модели поведения, которые приводят к этому вознаграждению.

Интригующе, но исследование также показывает, что система вознаграждения мозга может быстро и динамично изменять весь спектр движений и поведения животного. По словам старшего автора исследования Руи Коста, это говорит о сложной стратегии обучения, при которой поведение не просто подкрепляется, а активно формируется и настраивается в процессе опыта.

“Когда вы подкрепляете поведение, мы часто думаем, что это просто действие”, – сказал Коста, президент и генеральный директор Института Аллена. “Но нет: вы меняете всю структуру поведения. И что действительно удивительно, так это то, насколько быстро это происходит”.

Расшифровка того, как дофамин формирует обучение

Для того чтобы выяснить это, команда сотрудничала с инженерами и нейробиологами из Центра Шампалимо, чтобы разработать новую систему “замкнутого цикла”, которая могла бы связать определенные действия мышей с высвобождением дофамина в режиме реального времени. Исследователи оснастили мышей беспроводными датчиками, чтобы отслеживать их перемещения в простом контролируемом пространстве. Затем они передали эти данные в алгоритм машинного обучения, который разделил эти действия на отдельные группы. Затем исследователи использовали оптогенетику – метод управления нейронами с помощью света – для стимуляции дофаминовых нейронов, когда мыши выполняли заранее определенные “целевые действия”.

Они обнаружили, что мыши быстро меняли свое поведение в ответ на высвобождение дофамина. Сначала они увеличивали частоту не только целевых действий, но и сходных с ними, а также тех, которые происходили за несколько секунд до выброса дофамина. При этом частота действий, непохожих на целевые, быстро снижалась. Со временем это уточнение становилось все более точным, и мыши все чаще фокусировались именно на том действии, которое приводило к выбросу дофамина.

В исследовании также изучался процесс обучения мышей серии действий, что позволило выявить ключевой процесс, похожий на перемотку времени для понимания того, что приводит к вознаграждению. Когда действия, вызывающие выброс дофамина, происходили на большом расстоянии друг от друга, мыши учились медленнее. Это говорит о том, что при более длительных промежутках между действиями мышам сложнее связать последовательность действий с вознаграждением. По сути, действия, предшествующие вознаграждению, быстро усваиваются и совершенствуются, в то время как более ранние действия совершенствуются постепенно. Этот процесс “перемотки” закрепляет поведение и помогает мышам постепенно определить, какие именно действия и последовательности приносят награду.

По словам ведущего автора Джонатана Танга (Jonathan Tang), доктора философии, доцента Медицинского института Университета Вашингтона по педиатрии и Детского научно-исследовательского института Сиэтла, полученные результаты могут повлиять на такие области, как образование и искусственный интеллект (ИИ). Например, возможность исследования, ошибок и постепенного совершенствования в классе может больше соответствовать врожденным процессам обучения нашего мозга.

В искусственном интеллекте эти знания могут привести к созданию более сложных и эффективных систем обучения. Более точно воспроизведя биологические процессы обучения, мы сможем создать ИИ, который будет лучше адаптироваться к новым данным и ситуациям.

Это исследование позволяет глубже понять, как наш мозг учится и адаптируется путем проб и ошибок – будь вы ученый или школьник.

“Мы считаем само собой разумеющимися многие вещи, включая предназначение похвалы”, – говорит Танг, который начал исследование вместе с Костой во время учебы в Колумбийском университете. “Но когда вы действительно начинаете погружаться внутрь, вы осознаете всю сложность. Именно поэтому люди занимаются наукой: чтобы докопаться до истины”.

Исследование(закрытое): Tang, J.C.Y., Paixao, V., Carvalho, F. et al. Dynamic behaviour restructuring mediates dopamine-dependent credit assignment. Nature (2023). https://doi.org/10.1038/s41586-023-06941-5


Вознаградить админа можно по этим реквизитам:

  • PayPal/BinancePay: maximleo2@gmail.com
  • USDT (TRC 20): TLwprbnDEfh89GW75NbM7diPLDXXWLQsRh
  • ETH: 0x0f3caa9e1e69aae0e23fb039e74b5093c3427d75
  • BTC: 1LSvFymP9hANhiQ1VfeCFn1udLwETczfgq
  • Номер карты МоноБанки: 5375411204212299
Редакция

Опубликовала
Редакция
Метки: поведение

Недавние публикации

Прием пробиотиков влияет на принятие социальных решений

Бактерии в кишечнике влияют на чувство справедливости. Исследование, опубликованное в журнале PNAS Nexus в этом… Читать далее

18/05/2024

Ярлык героя приводит к эксплуатации медсестер, учителей и военных

Новое исследование, опубликованное в Journal of Personality and Social Psychology, предполагает, что героизация таких групп… Читать далее

03/05/2024

Фундаментальное открытие: Свет может испарять воду без тепла.

Удивительный «фотомолекулярный эффект», обнаруженный исследователями Массачусетского технологического института, может повлиять на расчеты изменения климата и… Читать далее

26/04/2024

Моргание не только увлажняет глаза, но и помогает лучше видеть

Моргание, на которое мы тратим от 3 до 8 процентов времени бодрствования, помогает обрабатывать визуальную… Читать далее

17/04/2024

Созданы синтетические тромбоциты останавливающие кровотечение

Ученые разработали синтетические тромбоциты, которые можно использовать для остановки кровотечения и ускорения заживления в месте… Читать далее

14/04/2024

Сонные морщины. Положение во сне влияет на старение лица

Обзорное исследование, опубликованный в журнале Aesthetic Surgery Journal в 2016, проливает свет на связь между… Читать далее

04/03/2024