Язык позволяет людям сообщать друг другу мысли, поскольку мозг каждого человека одинаково реагирует на значение слов. В недавно опубликованном исследовании была разработана схема для моделирования мозговой активности во время разговора.
Два человека просто разговаривали друг с другом в непринужденной обстановке, а в это время велась запись электрической активности их мозга. Предыдущие исследования показали, что когда два человека разговаривают, мозговая активность становится связанной, или согласованной.
Нейронный код — это особые модели активности мозга, связанные с отдельными словами в контексте. Как оказалось, мозг говорящего согласован с общим нейронным кодом. Важно отметить, что нейронный код мозга напоминает искусственный нейронный код больших языковых моделей, или LLM.
Нейронные модели слов
Большая языковая модель — это программа машинного обучения, которая может генерировать текст. Она предсказывает, какие слова, вероятнее всего, следуют за другими. Большие языковые модели отлично изучают структуру языка, генерируют текст, похожий на речь человека, и ведут беседу. Они даже могут пройти тест Тьюринга, благодаря чему человеку сложно определить, с кем он общается: с машиной или с другим человеком. Как и люди, языковые модели учатся речи, читая или слушая тексты, созданные людьми.
Предоставив системе искусственного интеллекта стенограмму разговора, ученые смогли извлечь ее «нейронные активации», или то, как она переводит слова в цифры, по мере того как «читает» текст. Затем соотнесли мозговую активность говорящего с активацией языковой модели и с мозговой активностью слушателя. Оказалось, что по активации языковой модели можно предсказать общую активность мозга говорящего и слушающего.
Чтобы понимать друг друга, люди должны быть единодушны в отношении грамматических правил и значения слов в контексте. Например, мы знаем, что нужно использовать форму прошедшего времени глагола, чтобы говорить о прошлых действиях, как в предложении: «Вчера он посетил музей». Кроме того, мы интуитивно понимаем, что одно и то же слово может иметь разные значения. Например, слово «холод» в предложении «Вы холодны как лед» может относиться как к температуре тела, так и к чертам характера, в зависимости от контекста. Из-за сложности и богатства естественного языка до недавнего успеха больших языковых моделей исследователям не хватало точной математической модели для его описания.
Новое исследование показало, что большие языковые модели могут предсказывать, как лингвистическая информация кодируется в человеческом мозге. Это новый инструмент для интерпретации мозговой активности человека. Сходство лингвистического кода мозга и большой языковой модели позволило впервые проследить, как информация в мозге говорящего кодируется в слова, а затем, слово за словом, передается в мозг слушателя во время разговора. Например, активность мозга, связанная со значением слова, возникает в мозгу говорящего еще до произнесения слова, и эта же активность быстро возобновляется в мозге слушателя после того, как он его услышал.
Новый эффективный инструмент
Исследование позволяет понять, как устроен нейронный код обработки языка в человеческом мозге и как люди и машины могут использовать этот код для общения. Как выяснилось, большие языковые модели лучше предсказывают общую активность мозга по сравнению с различными характеристиками языка, такими как синтаксис, порядок соединения слов во фразы и предложения. Отчасти это объясняется способностью языковой модели учитывать контекстуальное значение слов, а также интегрировать в одну систему несколько уровней лингвистической структуры: от слов к предложениям и концептуальному значению. Это указывает на важное сходство между мозгом и искусственным интеллектом.
Важным аспектом этого исследования является использование записей естественных разговоров. Это определенная гарантия того, что результаты отражают процесс обработки информации мозгом в реальной жизни. Это называется экологической валидностью, когда условия эксперимента соответствуют исследуемой реальности. В отличие от экспериментов, в которых участникам дают указания, что говорить, люди разговаривали как можно более естественно. Такая свобода затрудняет анализ данных, поскольку каждый разговор уникален и включает в себя двух собеседников. Возможность моделирования нейронной активности при повседневном общении свидетельствует о потенциале больших языковых моделей.
Другое измерение
Теперь, когда разработан механизм оценки общего нейронного кода во время повседневных разговоров, становится интересно, какие факторы способствуют или препятствуют этому взаимодействию. Например, усиливается ли лингвистическая связь, если слушатель лучше понимает намерения говорящего? Или, возможно, сложный язык, например жаргон, может уменьшить нейронную связь.
Еще одним фактором, который может повлиять на лингвистическое взаимодействие, могут быть отношения между говорящими. Например, вы можете передать много информации с помощью нескольких слов хорошему другу, но не незнакомцу. Или, если люди разделяют политические взгляды, то лингвистическая связь между ними будет сильнее, чем между оппонентами. Это объясняется тем, что различия в использовании слов в разных группах могут способствовать тому, что вам будет легче сблизиться с людьми внутри, а не вне наших социальных групп.