ᠬᠡᠯᠡ ᠰᠢᠨᠵᠢᠯᠡᠯ ᠤᠨ ᠰᠣᠳᠣᠯᠭᠠᠨ ᠳᠠᠬᠢ ERP ᠶᠢᠨ ᠬᠡᠷᠡᠭᠯᠡᠯᠲᠡ ERP在语言研究中的应用 （王瑞明） 201908 （1） .pdf

ERP在语言研究中的应用 王瑞明 华南师范大学心理学院 内容框架 2 ERP概述及语言研究中常用的 ERP成分1 2 语言认知的 ERP研究举例 语音感知的 ERP研究 双语认知的 ERP研究 概念加工的 ERP研究 一、 ERP概述及语言研究中常用的 ERP成分 3 （一） ERP概述 4 什么是 ERP ？ • 事件相关电位 (Event Related Potentials), 简称 ERP， 外加一种特定的刺激作用于感觉系统或脑的某一部位，在 给予刺激或撤消刺激时，在脑区所引起的电位变化。 ERP 被认为是科学家 “ 观察脑功能的窗口 ” 。 • ERP通常淹没在 EEG（ Electroencephalography,脑电 图）中，不能直接观察到，需要从 EEG中提取出来。 EEG 是通过电极记录下来的脑细胞群的自发性、节律性电活动。 6 EEG EEG ERP ERP（波形恒定、潜伏期恒定，叠加平均 n次， n=30） 部位 名称 代号 部位 名称 代号 前额 Frontal pole Fp1 Fp2 侧额 Inferior frontal F7 F8 额 Frontal F3 Fz F4 颞 Temporal T3 T4 中央 Central C3 Cz C4 后颞 Posterior temporal T5 T6 顶 Parietal P3 Pz P4 耳 Auricular A1 A2 枕 Occipital O1 O2 10-20电极系 统（国际脑电图学会 1958制定） 矢状线 冠状线 10 64导电极分布图 ERP的基本特征 （ 1） 波形图：波幅、峰值潜伏期（ ERP研究中的主要测量指标） 波幅 : 反映大脑兴奋性的高低，或神经资源参与认知活动的程度。 测量： 1）某个时间点的波幅： 峰 -峰；基线 -峰 2） 某个时间间隔 （ 如间隔 20、 50、 100和 150ms） 或 时间窗口 （ 根据总平均图确定某一成分的时间窗口 ） 的平均波幅： 峰值潜伏期 ：反映神经活动与加工过程的速度和评价时间 。 测量：刺激呈现 -峰 （ 2）脑电地形图 脑电地形图可以看作 某个时间点或某个时间段 大脑各部位的激活在头皮 上的表现 。 ERP的基本特征 （二） 语言研究中常用的 ERP成分 13 （ 2） ERP成分命名 通常以“ P（ positive）”代表“正波”，以“ N（ negative）”代表“负波”，其后 为成分的潜伏期或刺激呈现后的第几个成分。例如， P300， N400， P600， N2等。 另外，也有一些特定名称的 ERP成分，例如 MMN（失匹配负波）。 注意： 1）正负代表的是波的走向，并不是波峰电压值的正负。 2）任何成分名称所示的潜伏期和实际结果并非绝对一致，只是初期命名时的习 惯所致。 （ 1） ERP成分识别 根据峰值潜伏期、波的走向、及其头皮分布进 行判断。 相关文献、经验 ERP研究主要通过各种 ERP成分 来反映具体的认知加工，例如， MMN（失匹配 负波）反映人脑对刺激的自动加工， N400反映语义加工等等。 15 N400 1 矢匹配负波（ MMN） 2 P600 3 16 1. 失匹配负波 （ Mismatch Negativity, MMN） （ 1） 1978年 Naatanen等人首先报道。 潜伏期在 刺激呈现后 100-250ms左右的负波，主要分布在额 -中央区。 （ 2）诱发 MMN的典型实验范式：被动听觉“ Oddball”范式 • 大概率刺激 —— 标准刺激 (standard sitimuli) • 小概率刺激 —— 偏差刺激 (deviant stimuli) A B C 17 1. 失匹配负波 （ Mismatch Negativity, MMN） （ 2）诱发 MMN的典型实验范式：被动听觉“ Oddball”范式 给被试呈现一系列听觉刺激，这些听觉刺激由两种刺激组成，一种刺 激出现的概率很大（如 85%），称为标准刺激；另一种刺激出现的概率很 小（如 15%），称为偏差刺激。两种刺激随机出现。 实验中要求被试认真看书或者看无声电影，忽略耳边呈现的听觉刺激。 在这种范式下，偏差刺激与标准刺激的差异波中约 100-250ms之间会 有一个明显的负波，即 MMN。 18 19 2. P600 （ 1） P600是研究最多的与句法 加工有关的 ERP成分，它也称为 句法正漂移（ Syntactic Positive Shift, SPS) 晚期正波，可能主要分布在 顶 -枕区 （ 2）由 Osterhout等 (1992)提出。 如其研究中的例子， hope为不及 物动词，后面跟 to；而 persuade 为及物动词，后面无需跟 to。 Osterhout(1992)首次发现的 P600 20 2. P600 （ 3）句法歧义或句法违反可引发 P600/SPS 句法违反：短语结构的违反，数的一致的违反，性的一致的违反等等 例： The plane took *we to paradise and back. The plane took us to paradise and back. They *suns themselves on the beach. They sun themselves on the beach. (Coulson, King, Rodriguez-Fornells, et al.,2002） ；另有一些 研究则认为，双语者不能有选择性的通达两种语言的词汇，使用目标语 言时，非目标语言会自动激活 （ Dijkstra, et al., 2002; Martin, et al.,2009） 。 ➢先前研究者让被试判断目标词第一个字母是元音 还是辅音，或者 判断目标词字 母数大于还是小于 5个，忽略 非 目标词，结果 前者发现了非目标词的 词频效应， 后者 没有发现词频效应。我们使用 ERP技术，结合 中英文 的特点，系统 探讨了不 同任务（部件搜索任务和生物属性决定任务）对中英双语者语言理解转换中非 目标语言加工的影响。 • 被试：华南师范大学 16名英语专业大学生，所有被试已通过英语专业 8 级考试，母语为汉语。 • 实验设计：非目标语言类型 2（中文、英文） × 词频 2（高频、低频）两 因素被试内设计。实验采用部件搜索任务，即出现英文单词判断其中是 否包含某个字母，如“ a”；出现中文单字词判断其中是否包含某个部首， 如“木”。要求被试只对目标语言进行判断，忽略出现的非目标语言。 因变量是非目标语言出现时被试的脑电反应。 • 实验材料： 80个高频中文单字词 (包含部件和不包含部件各半 )， 80个低 频中文单字词 (包含部件和不包含部件各半 )， 80个高频英文单词 (包含部 件和不包含部件各半 )， 80个低频英文单词 (包含部件和不包含部件各半 )， 所有的中文单字词和英文单词均为具体名词。 部件搜索任务中非目标语言加工的 ERP研究 ➢ 部件搜索任务下只有中文作为非目标语言时在 P200（ 100ms-200ms）上出 现了词频效应 （吴际 , 王瑞明 *, 范梦 , 李利 , 陈丽华 , 2013） 。 部件搜索任务中非目标语言加工的 ERP研究 • 被试：实验 1有 16名英语专业大学生，实验 2有 18名英语专业大学生， 所有被试已通过英语专业 8级考试，母语为汉语。 • 实验设计：单因素被试内设计，实验 1自变量是非目标语言中文单字词 的频率，实验 2自变量是非目标语言英文单词的频率，包括高频和低频 两个水平。实验任务是要求被试判断出现的目标语言词是否是表示生物 体或是生物体的一部分，而忽略出现的非目标词，因变量是非目标语言 出现时被试的脑电反应。 • 实验材料： 120个高频中文单字词（生物词和非生物词各半）， 120个 低频中文单字词（生物词和非生物词各半）， 120个高频英文单词（生 物词和非生物词各半）， 120个低频英文单词（生物词和非生物词各 半），所有的中文单字词和英文单词均为具体名词。 生物属性决定任务中非目标语言加工的 ERP研究 ➢ 生物属性决定任务下中文和英文作为非目标语言时都出现了词频效应 ， 并且中文出现的比较早 （ P200和 N400） ， 英文出现的比较晚 (N400)（ Li Li, Meng Fan, Bing Sun, Ruiming Wang*, Lei Mo, John Xuexin Zhang, 2012） 。 生物属性决定任务中非目标语言加工的 ERP研究 3、转换消耗的产生阶段与时间进程 54 • 转换消耗发生在哪个语言阶段，目前研究还没有达成一致的意见：有研 究认为转换消耗发生在词汇选择阶段（ Guo et al., 2013），还有研究认 为发生在语言任务选择阶段（ Verhoef et al., 2010）。 • 这种分歧可能是由被试 L1、 L2间的语言差异引起的，前者研究中的被试 为中－英双语者， L1和 L2差异较大，而后者为荷兰语－英语双语者， L1 和 L2差异较小，可能较相似的两种语言在双语转换时需要更多的抑制控 制，因此他们在语言任务选择阶段也发现了转换消耗。 • 前人的研究中一般同时呈现线索和刺激，或者先呈现线索再呈现刺激， 无法分离词汇激活阶段和语言选择、词汇选择阶段。如果先呈现刺激再 呈现线索，即当词汇激活之后再选择语言时，转换消耗出现在哪个阶段， 有待于进一步探讨。 • 我们使用 ERP技术，使用语言差异较大的印尼语－汉语双语者，并在数 字命名语言转换范式的基础上设置两种刺激呈现顺序（线索－数字，数 字－线索），对转换消耗的发生时程进行了进一步的探讨。 20名印尼语－汉语 双语者 （晚期，非 平衡双语者） 1. 线索 ——数字 呈现顺序 2. 数字 ——线索 呈现顺序 实 验 被 试 数字命名任务 （ 1-8） 实 验 程 序 实 验 任 务 语言产生转换过程中转换消耗发生阶段的 ERP研究 Song Chang, Jiushu Xie, Li Li, Ruiming Wang* and Ming Liu (2016） . ➢ 在线索－数字 序列中，线索 引发的 ERPs没有出现 任何效应，而 数字引发的 EPRs出现了 N400 效应，表明 在语言任务选择阶段没有出现 转换消耗，而 词汇选择阶段出现了转换消耗。 语言产生转换过程中转换消耗发生阶段的 ERP研究 ➢ 在数字 -线索 序列中，数字 引发的 ERPs没有出现 任何效应，而 线索引发的 ERPs在 220-320ms 的时间窗上使用 L2命名时出现了 N2效应， 350-500ms的时间窗上使用 L1命名时出现了 N400 效应，表明 当词汇激活之后再选择语言时转换消耗同样发生在词汇选择阶段。 语言产生转换过程中转换消耗发生阶段的 ERP研究 60 ➢ 综合两个序列 的结果，我们 的实验表明在双语语言产 生 过程中，转换 消耗主要发生在词汇 选择阶段，而 非 语言任务选择阶段。 语言产生转换过程中转换消耗发生阶段的 ERP研究 Song Chang, Jiushu Xie, Li Li, Ruiming Wang* and Ming Liu (2016). 61 ➢先前有 研究发现，转换 预期影响 转换消耗，并 提供了一些证据 。但 是，前人 的研究中一般同时呈现线索 和刺激，或者 先呈现线索再 呈 现刺激，无法 分离语言激活阶段和语言 选择阶段，因而 无法考察双 语语言产生中转换预期对语言激活阶段和语言选择阶段的影响。 ➢我们使用刺激－线索 呈现序列，使用 20名印尼语－汉语双语者 （晚期非平衡双语 者），设置 了高、低两种转换预期条件（更多转换 和更少 转换），以 反映抑制加工的 N2成分和反映语义加工的 N400 成分 为指标，探讨 双语产生中语言激活阶段和语言选择阶段转换预 期对转换消耗的影响。 转换预期影响转换消耗产生阶段的 ERP研究 Yueyue Liu, Song Chang, Wenjuan Liu, Li Li, Dongui Chen, Jinqiao Zhang, Ruiming Wang* (2018), 62 ➢ 在数字 -线索序列中，在语言激活阶段，即数字呈现时，数字引发的 ERPs没有出 现任何效应，转换预期对转换消耗没有影响。 ➢ 在线索出现时，低预期情况下， N2成分上和 N400成分上都出现了效应，高预期下 没有出现任何效应。 转换预期影响转换消耗产生阶段的 ERP研究 Yueyue Liu, Song Chang, Wenjuan Liu, Li Li, Dongui Chen, Jinqiao Zhang, Ruiming Wang* (2018), （二）语音感知的 ERP研究 63 1、 汉语声调中声学信息和语言学信息对声调感知的影响 (Yu, Wang*, Li, (2)/yi2/(标准刺激 ) vs. /yi2a/(偏差刺激 ); (3) /yi6/ (标准刺激 ) vs. /yi1/(偏差刺激 ); (4) /yi6/ (标准刺激 ) vs. /yi6a/(偏差刺激 )。 被试的任务：认真观看一部 无声电影 ， 忽略 耳边呈现的 听觉刺激 ， 不 需要 对听觉刺激做任何反应 。 Yu, Zhou, Li, Su, Wang, Johannes, Münte, Heinze, & Mangun, 1995)。 ERP结果 对所选择电极点上 190 ms到 240 ms间 的平均波幅进行 2 (情绪词效价：积极和消 极 ) × 2 (空间刺激的位置：上和下 ) × 9( 电极点 )重复测量方差分析。 结果发现，情绪词和空间位置的交互 作用显著， F(1, 21)=6.63, p=.018, ηp2=.24 。简单效应分析的结果发现，与积极情绪 词相比，对呈现在下面的空间刺激，消极 情绪词诱发了一个更正的 P200， F(1, 21)=5.90, p=.024, ηp2 =.22。对于呈现在上 面的刺激，没有这种效应。 讨论 ERP的结果发现，效价 -空间联结 一致时的 P200成分比不一致时更大，而以往研究 又发现 P200成分与注意转移和注意资源分配有关。结合本研究的研究范式，我们认为 情绪词的加工可能促进了被试在联结一致时的注意转移和注意资源分配。 Jiushu Xie, Ruiming Wang *, & Song Chang. (2014). The mechanism of valence-space metaphors: ERP evidence for affective word processing. 已有 EEG数据的进一步分析：时频分析 对收集到的 EEG数据进行时频分析。分析的频率为 1-30Hz。重点关注 1-4Hz的 delta 波， 4-8Hz的 theta波和 8-13Hz的 alpha波。 以频谱能量为因变量，每隔 10ms分别在以上三个频段进行一次统计分析，寻找感 兴趣的时间窗。最后，选择 370-440ms作为 delta的时间窗，分析电极为 C3、 Cz、 C4、 CP3、 CPz、 CP4、 P3、 Pz、和 P4；选择 290-330ms作为 theta的时间窗，分析电极为 FC3、 FCz、 FC4、 C3、 Cz、 C4、 CP3、 CPz、 CP4、 P3、 Pz和 P4；选择 50-100ms作为 alpha的时间窗，分析电极为 FC3、 FCz、 FC4、 C3、 Cz和 C4。 针对三个频段，分别对所选择电极点和时间窗内的能量值进行 2 (情绪词效价：积 极和消极 ) × 2 (空间刺激的位置：上和下 ) × N (电极点 )重复测量方差分析。 Cz点的时频分布的总平均结果。 不同频段时频分布的地形图结果和统计分析结果。 时频分析结果 与加工积极效价相比，当 被试先加工消极效价并探测出 现在下方的空间刺激时， delta [F(1, 21)=4.57, p=.045, ηp2=.18] 和 alpha [F(1, 21)=4.49, p=.046, ηp2=.18] 频段的能量降低；与 加工消极效价相比，当被试先 加工积极效价并探测出现在上 方的空间刺激时， theta频段的 能量降低， F(1, 21)=6.14, p=.022, ηp2=.23。 讨论 时频分析的结果发现，效价 -空间联结一致时比不一致时 delta、 theta和 alpha频段 的能量都出现了降低。结合本研究的研究范式， delta频段的能量可能反映了注意资源 的分配。由于一致条件下被试需要调动的注意资源较少，因此对应的 delta频段的能量 出现了降低。而 theta频段的能量可能与信息整合有关。本研究中，一致条件下的效价 和空间信息的整合更容易，因此一致条件下 theta频段的能量比不一致条件也就出现了 下降。 alpha频段的能量可能反映了语言加工。本研究中，一致条件下比不一致条件下 被试可能能够更好地理解情绪效价，因此一致条件下 theta频段的能量比不一致条件下 更低。 Yanli Huang †, Jiushu Xie†, & Wang Ruiming *. (2018). Electroencephalography delta, theta, and alpha oscillations in valence-space metaphorical associations. 内容小结 一、 ERP概述及语言研究中常用的 ERP成分 （一） ERP概述（ ERP、 EEG、电极分布、波形图、地形图） （二） 语言研究中常用的 ERP成分（ MMN、 P600、 N400） 二、语言认知的 ERP研究举例 （一）双语认知的 ERP研究 （二） 语音感知的 ERP研究 （三）概念加工的 ERP研究 参考文献 魏景汉 ,罗跃嘉 (2002). 认知事件相关脑电位教程 . 经济日报出版社 . 王瑞明 , 杨静 ,李利 .第二语言学习 . 华东师范大学出版社 ,2016 Keke Yu, Li Li, Yuan Chen, Yacong Zhou, Ruiming Wang, Yang Zhang, Ping Li (2019). Effects of Native Language Experience on Mandarin Lexical Tone Processing in Proficient Second Language Learners. Psychophysiology. Liu Yueyue, Chang Song, Li Li, Liu Wenjuan, Chen Donggui, Zhang Jinqiao, & Wang Ruiming. (2018). Effects of naming language and switch predictability on switch costs in bilingual language production. Frontiers in Psychology, 9:649. doi: 10.3389/fpsyg.2018.00649 Huang Yanli†, Xie Jiushu†, & Ruiming Wang. (2018). Electroencephalography delta, theta, and alpha oscillations in valence–space metaphorical associations. NeuroReport. 29 (12), 1017–1022. doi: 10.1097/WNR.0000000000001066 Keke Yu, Yacong Zhou, Li Li, Jing’an Su, Ruiming Wang, Ping Li (2017). The Interaction between Phonological Information and Pitch Type at Pre-attentive Stage: An ERP Study of Lexical Tones. Language, Cognition and Neuroscience. 32(9): 1164–1175. http://dx.doi.org/10.1080/23273798.2017.1310909 Song Chang, Jiushu Xie, Li Li, Ruiming Wang, Ming Liu (2016) Switch Costs Occur at Lemma Stage When Bilinguals Name Digits: Evidence from Language-Switching and Event-Related Potentials. Frontiers in Psychology, 7:1249. doi: 10.3389/fpsyg.2016.01249 Chaoying Chen, John Xuexin Zhang, Li Li, Ruiming Wang(2015). Bilingual memory representations in less fluent Chinese-English bilinguals: An event-related potential study. Psychological Reports, 116, 1, 230-241. Keke Yu, Ruiming Wang, Li Li, Ping Li(2014). Processing of acoustic and phonological information of lexical tones in Mandarin Chinese revealed by mismatch negativity. Frontiers in Human Neuroscience, 8:729. doi: 10.3389/fnhum.2014.00729. Jiushu Xie, Ruiming Wang, Song Chang. (2014). The Mechanism of Valence-Space Metaphors: ERP Evidence for Affective Word Processing. PLoS ONE, 9(6): e99479. Li Li, Meng Fan, Bing Sun, Ruiming Wang, Lei Mo, John Xuexin Zhang. (2012). Non-target language processing in Chinese-English bilinguals: An ERP study. Psychological Reports, 110(3): 935-945. 谢谢大家！ 欢迎硕士、博士、博士后、青年英才加盟！ 博士后和青年英才年薪 20万起！ wruiming@163.com 祝大家身心健康！万事如意！ wruiming@163.com