为推动我院眼动、脑电实验的顺利开展,培养硕博研究生运用多模态技术的研究意识,及时了解并掌握学科前沿动态,斯拉夫语学院特邀华南师范大学王穗苹教授进行《语言理解中语义信息的提取、整合与预期——兼谈多模态技术在心理学研究中的应用》系列学术讲座。由于内容容量较大,本次讲座分三次完成,前两讲于腾讯会议平台线上进行,第三讲于10月11日线下进行,系列讲座由斯拉夫语学院院长、博士生导师赵秋野教授主持,来自我校外国语言文学一级学科及教育科学学院的师生等八十余人参加讲座。
王穗苹教授为华南师范大学心理学院教授,教育部“长江学者”特聘教授、教育部“新世纪优秀人才”、“全国优秀博士学位论文奖”获得者、广东省“珠江学者特聘教授”。长期致力于人类语言加工的研究,主要采用多模态技术,如眼动追踪、ERP、fMRI成像等探讨语言与交流的认知及大脑神经机制、语言学习与教学、语言障碍矫治与康复等问题。先后主持国家自然科学基金6项、美国国家自科基金1项(联合主持),国家哲学社会科学重点项目、广东省自然科学基金重点项目等三十余项国家和省部级重要课题。在Journal of experimental psychology, Neuroimage等国内外重要学术期刊发表论文逾百篇。现任中国心理学会语言心理学分会副主任委员、中国语文现代化学会神经语言学研究分会副理事长、中国英汉语比较研究会心理语言学分会常务理事、中国心理学会普通与实验心理学专业委员会理事、广东省孤独症康复协会副会长等职,并担任国内外三十余种学术期刊的审稿人,以及多个国家和地区性项目的评审专家。在第一讲中,王穗苹教授从语言的使用与人类文明的发展切入,对语言加工的具体过程进行分析,并指出,语言的理解可以分为感知觉分析、词汇语义信息获得、短语或语段表层表征建立及情景模型的建立四个阶段,而以上四阶段与注意、认知控制、工作记忆及长时记忆等心理学问题密切相关,在研究中应针对不同阶段,采取适当的研究方法对概念表征、语义激活、句法加工等问题进行深入探索。王穗苹教授表示,从认知视角出发可以对语言进行多通道、多维度的研究,对比分析个体语言能力发展不同阶段的语音、语义、句法、语用等层次加工特点,并试图从心理和神经角度剖析语言的加工过程和层级表征,同时强调,在认知研究中需注重采取适宜的行为测量方法,选取恰当的实验逻辑和研究范式,并善用统计学原理减少实验误差。
第二次讲座中,王穗苹教授着重对语境信息在语言加工中的作用的时点问题(“when”)进行阐释,并根据中文词边界与词汇多义性的特性针对预视效应问题设计系列实验,主要考察预视加工能否获得语义信息、是否存在语义的副中央凹-中央凹预视(POF)效应以及语境的信息是否可以影响语义预视加工等三个问题。实验有针对性地选用眼动技术与事件相关电位技术,采用违反范式对材料进行处理并划定兴趣区,使用眼动随动范式进行研究,并在句子阅读中要求被试完成快速序列视觉呈现(RSVP)任务。结果发现,在中文阅读过程中,汉语母语被试对句子语义的加工呈现实时渐进式的语言处理特点,高层信息的整合与更新发生在极其早期的加工阶段;同时,语言理解中各层次的信息处理是高度实时交互的,不同来源的信息会在很早期产生深度的交互作用,共同塑造我们的理解加工进程。此外,王穗苹教授指出,自上而下与自下而上加工之间的交互在预视状态下就开始出现,未来有必要对这种交互发生的程度和水平进行更加系统的分析。
在前两讲的基础之上,第三讲中王教授进一步探讨了语境信息在语言理解的语义整合过程中具体限制的内容以及预期是如何产生的,并指出,研究人员通常可以通过操纵不同的语境限制性或目标词汇的可预期性,采用视觉情景范式结合自定步速阅读实验、眼动实验或ERPs实验观察被试对于词汇语义、句法、语音及正字法等特征的预期加工过程特点。同时王穗苹教授表示,目前学界对于语言预期加工机制的研究仍存在一些分歧,主要集中在语言预期的加工水平、加工模式与加工进程等三个方面。在对语言预期所能进行的是抽象还是具体内容加工的探讨中,王教授更为关注语音信息的预期,通过功能性磁共振成像(fMRI)技术进行神经解码发现,在言语加工中被试可以利用声调信息提前预测下一个信息,同时通过对加工过程中激活脑区的对比分析证实,预期的表征及预期违背的加工与语言产生相关的脑区之间存在共享区域,并再次强调认知、神经与语言三者之间的关系。此外,王老师基于多年实证研究经验提出,在科学研究过程中,明确研究问题永远是第一位的思考,其次才是技术与指标的选取,通过对精细的指标分析能够使我们更准确地揭示语言处理系统的运作机制。
在交流环节,参会师生与王穗苹教授积极互动,2020级博士研究生周耘竹就多模态技术研究中,眼动与ERP实验程序设计需要注意的问题与主讲人探讨,同时对运用ERP技术进行神经解码的原理与方法表现出浓厚兴趣。问答环节过后,王教授还移步到眼动实验室就师生在实验设计中出现的具体问题进行解答与指导。
讲座的最后,赵秋野教授对本次讲座进行了总结。她表示,王穗苹教授的讲座为新文科背景下开展跨语言研究提供方法论的指导,从问题提出、研究方法、实验设计等方面对推动实验室建设与开展心理语言学及神经语言学实证研究工作都具有重要启示和借鉴意义。本次讲座极大地拓展了与会师生的学术视野,推动了文科研究内容与方法的融合与创新。