К списку статей

Семантическая репрезентация текста в головном мозге не зависит от того, читают его или слушают. Это выяснили американские ученые, которые попросили участников своего фМРТ-эксперимента прочитать и прослушать одну и ту же историю, а затем сравнили активность их мозга: оказалось, что вне зависимости от модальности семантическая карта головного мозга выглядит примерно одинаково. О результатах исследования сообщается в The Journal of Neuroscience.

Для понимания речи человек может использовать два совершенно разных первичных канала обработки информации: зрение и слух. Разумеется, два этих пути работают по-разному как раз из-за используемой модальности — одна и та же информация для дальнейшей обработки головным мозгом поступает по-разному и требует разной вовлеченности когнитивных процессов. Соответственно, можно предположить, что и воспринимается (с точки зрения семантики) такая информация по-разному. Большинство исследований активности участков мозга, участвующих в семантической обработке речи, однако, посвящены только одной модальности. Именно поэтому о том, насколько схожа семантическая обработка речи разными каналами, известно не так много. Изучить этот вопрос подробнее решили ученые из Калифорнийского университета в Беркли под руководством Фатмы Дениз (Fatma Deniz). В их исследовании приняли участие девять человек: каждому из них необходимо было сначала прослушать, а потом прочитать небольшие (около 10 минут) отрывки из подкаста The Moth, посвященного умению рассказывать истории. Для задачи с чтением история появлялась на экране пословно — с той же скоростью, с которой слова произносились в аудио: это было сделано для того, чтобы ограничить временные рамки обработки речи и в том, и в другом случае. Во время чтения и прослушивания историй активность мозга участников регистрировали с помощью фМРТ. Из полученной во время эксперимента активности мозга ученые составили семантическую карту по методологии, которую использовали в своих исследованиях ранее. Такая карта составляется следующим образом. Активность мозга анализируется повоксельно, и активность каждого кубического миллиметра коры соотносится с теми словами, которые были прослушаны или прочитаны в каждый конкретный момент. Всего для построения такой карты используется 985 слов из списка 1000 самых частотных слов английского языка: каждое из них соотносится по временным рамкам появления и частотности со словами, которые появляются в использованных в исследовании текстах. Все слова при этом подпадают под одну из одиннадцати семантических категорий, репрезентация которых и отражена в активности коры головного мозга. Среди категорий — слова, связанные с числами, временем, местами, ментальными состояниями, движениями, частями тела и так далее. На основе анализа ученые построили регрессионную модель, предсказывающую активность определенного участка коры на основе того семантического поля, в которое подпадает то или иное слово. Как и предполагалось, полученные семантические карты покрывали обширные участки коры головных полушарий и вне речевых центров: активность наблюдалась в боковой части префронтальной и теменной коры, вентральной височной коре и затылочной коре. Модели, построенные для каждой модальности в отдельности, хорошо предсказывали распределение активности на семантической карте головного мозга: причем как для каждого участника в отдельности, так и в общем. Интересно, что модель, построенная на активности при чтении, также хорошо предсказывала активность при прослушивании, и наоборот. Коэффициент корреляции при сравнении активности в двух модальностях методом главных компонент достигал 0,75.

На основе результатов своей работы ученые сделали вывод, что семантическая репрезентация текста в головном мозге не зависит от модальности — то есть является амодальной. Следует уточнить, что семантические карты в этой работе делали на примере головного мозга здоровой популяции без неврологических заболеваний и нарушений в развитии. В будущем, уверены авторы, подобный метод анализа поможет в изучении семантической репрезентации в мозге, к примеру, людей с дислексией или же афазией после перенесенного инсульта. Карты активности головного мозга составляются и для других его функций. Например, совсем недавно была составлена достаточно подробная карта функциональной латерализации мозга человека: на ней более 600 когнитивных процессов отнесены либо к правому, либо к левому полушарию.

Источник: https://nplus1.ru/news/2019/08/21/semantics-via-modality