ISSN 1671-3710
CN 11-4766/R
主办:中国科学院心理研究所
出版:科学出版社

心理科学进展, 2020, 28(6): 969-977 doi: 10.3724/SP.J.1042.2020.00969

研究前沿

视觉语言对听觉障碍人群阅读能力的影响及作用机制

赵英, 伍新春,, 谢瑞波, 冯杰, 孙鹏, 陈红君

北京师范大学心理学部, 应用实验心理北京市重点实验室, 儿童阅读与学习研究中心, 北京 100875

Effects of visual language on reading among people who are deaf and hard of hearing and the underlying mechanisms

ZHAO Ying, WU Xinchun,, XIE Ruibo, FENG Jie, SUN Peng, CHEN Hongjun

Research Center of Children’s Reading and Learning, Beijing Key Laboratory of Applied Experimental Psychology, Faculty of Psychology, Beijing Normal University, Beijing 100875, China

通讯作者: 伍新春, E-mail:xcwu@bnu.edu.cn

收稿日期: 2019-06-10   网络出版日期: 2020-06-15

基金资助: * 国家社会科学基金重大项目(13&ZD188)

Received: 2019-06-10   Online: 2020-06-15

摘要

听觉障碍人群由于听觉部分或完全受损, 视觉语言——唇读和手语就成为其阅读能力发展的主要途径。唇读有助于听觉障碍人群形成语音表征, 与词汇知识相互影响, 且可以促进字词阅读及阅读理解的水平; 口语或书面语的加工可以激活相应的手语表征, 手语影响着听觉障碍人群各个层次的阅读能力。未来研究应该关注语音意识、词汇知识等技能在视觉语言影响听觉障碍人群阅读能力过程中的作用机制, 并以视觉语言为中心, 发展出适合汉语听觉障碍人群阅读能力习得的理论模型。

关键词: 听觉障碍; 视觉语言; 阅读能力; 唇读; 手语

Abstract

The auditory channel is disabled for people who are deaf and hard of hearing, so they have to rely heavily on visual language — lip-reading and sign language — to develop their reading ability. Lip-reading can help deaf and hard-of-hearing people to form phonological representation, develop vocabulary knowledge, and promote word reading and reading comprehension. Oral and written language processing activates sign language, which affects all levels of reading ability for people who are deaf and hard of hearing. Future research should explore the role of reading skills such as phonological awareness and vocabulary knowledge in the effect of visual language on reading ability, and develop a theoretical model that explains the mechanisms underlying reading acquisition by visual language for Chinese people who are deaf and hard of hearing.

Keywords: deaf and hard-of-hearing people; visual language; reading ability; lip-reading; sign language

PDF (582KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

赵英, 伍新春, 谢瑞波, 冯杰, 孙鹏, 陈红君. 视觉语言对听觉障碍人群阅读能力的影响及作用机制. 心理科学进展, 2020, 28(6): 969-977 doi:10.3724/SP.J.1042.2020.00969

ZHAO Ying, WU Xinchun, XIE Ruibo, FENG Jie, SUN Peng, CHEN Hongjun. Effects of visual language on reading among people who are deaf and hard of hearing and the underlying mechanisms. Advances in Psychological Science, 2020, 28(6): 969-977 doi:10.3724/SP.J.1042.2020.00969

1 引言

阅读能力的获得是个体学习知识, 掌握各项技能, 不断适应社会的必要条件。各个国家都十分重视培养儿童的阅读习惯, 以使儿童逐渐从“学会阅读”过渡到并超越“从阅读中学习”的阶段。字词识别是阅读能力发展的基础, 阅读研究领域中的许多理论模型也围绕字词识别的机制而展开。阅读的双通路瀑布式模型(Dual-route Cascaded Model)对传统的双通路理论(Baron & Strawson, 1976)进行了修正和完善, 其实质也是认为字词识别包含词汇和非词汇两个通路, 其中, 词汇通路指读者可以将看到的字词与心理词典中的语义或语音表征建立联结; 而亚词汇通路指利用形-音对应规则, 对字词进行语音编码(Coltheart, Rastle, Perry, Langdon, & Ziegler, 2001)。阅读发展阶段论(Ehri, 1995, 2005)也指出, 虽然儿童早期可以凭借视觉线索进行学习, 但该过程同样十分强调语音的参与, 即儿童需要将视觉线索与头脑中的语音及语义信息进行匹配。

大量拼音文字与非拼音文字的研究均表明, 语音是影响儿童字词识别及各项阅读能力的重要因素(e.g., McBride-Chang et al., 2008; Shu, Peng, & McBride-Chang, 2008; Vellutino, Fletcher, Snowling, & Scanlon, 2004)。因此, 听觉障碍(下文简称“听障”)儿童在“学会阅读”的过程中面临着很大的挑战。在健听儿童的世界里, 他们可以接触到各种各样的声音刺激, 持续的听觉信号的输入使其语音表征能力渐渐发展, 进而习得可以与人交流的语言。尽管一些听障儿童可以借助部分残余听力、人工耳蜗或助听器来感知外界声音, 但是任何程度、任何时长的听力缺失都会使儿童面临语言发展迟滞的风险(Moeller, Tomblin, Yoshinaga-Itano, Connor, & Jerger, 2007)。长时间语音刺激的缺失或不足, 会严重阻碍听障儿童的语音意识、字词解码、正字法技能、词汇知识等多方面阅读能力的发展(李德高, 张积家, 2006; Harris, Terlektsi, & Kyle, 2017b; Luckner & Cooke, 2010)。许多研究一致表明, 听障儿童在阅读时会体验到困难, 其阅读水平显著滞后于正常的同龄人(e.g., Kyle & Harris, 2010; Lederberg, Schick, & Spencer, 2013; Wauters, van Bon, & Tellings, 2006)。刘卿(2010)通过分析九年制聋校毕业生语文升学考试试卷发现, 听障学生普遍存在无法全面理解词汇内涵、对常见的句式不熟悉、阅读理解能力差等问题, 其平均成绩还未达到小学五、六年级的水平。

从根本上而言, 阅读能力是以基本语言过程为基础的, 要想成为一个好的阅读者, 首先需要灵活掌握一种语言。Perfetti和Sandak (2000)曾指出, 听障者较低的阅读水平有可能是由于他们不完整的语言系统与阅读系统的需求之间存在差异造成的。因此, 了解听障人群的语言特点就显得十分必要。听障儿童学习口语并不能像健听儿童那样容易, 他们发音不清晰, 与他人沟通存在很大困难。可以说, 口语并不是听障儿童的第一语言, 不是随其成长过程自然而然建立起来的符号系统。由于听不到、听不清或无法理解声音, 听障人群更多“以目代耳”, 视觉语言——唇读和手语成为其获取信息及沟通交流的基本方式(雷江华, 2009)。长期以来, 唇读和手语都是国内外听障儿童教育教学研究的热点话题。唇读是一种不需要通过声波刺激, 就可以得知说话者所表达意思的视觉认知活动, 能促进听障个体语音表征的形成和词汇知识的增长。手语具备自然语言的一切属性, 甚至被当作听障人群的第一语言(陈乐乐, 2015), 且有研究表明从出生就暴露于手语环境中的听障者会形成稳固的第一语言(手语)的基础(e.g., Mayberry, Chen, Witcher, & Klein, 2011), 这对其阅读能力发展的重要性也不言而喻。与唇读和手语一样, 阅读也是一项基于视觉通道的复杂认知活动。由于听障人群阅读水平的滞后以及视觉语言的特殊性, 本文从以往有关唇读和手语的研究出发, 重点阐述二者对听障人群阅读能力的影响及作用机制, 以期对未来研究以及听障儿童的阅读干预提供一定的参考。

2 唇读对听障人群阅读能力的影响

唇读(lip-reading), 又叫读话(speech-reading), 指通过观察说话人的口唇发音动作、肌肉活动及面部表情, 与记忆中的词语表象进行匹配, 进而感知言语的一种视觉认知活动(雷江华, 刘昌, 方俊明, 李建奇, 王丽佳, 2014; 雷江华, 孙灯勇, 刘昌, 方俊明, 2010)。McGurk和MacDonald (1976)发现, 当视觉刺激/ga/和听觉刺激/ba/同时呈现时, 会出现神秘的第三种声音/da/, 该现象被称为McGurk效应。McGurk效应的提出很好地证明了视觉线索对语言感知的重要性。研究者普遍认为, 与健听成人相比, 听障成人是更好的唇读者, 虽然以儿童为对象的研究还存在一定的争议(e.g., Bernstein, Tucker, & Demorest, 2000; Kyle, Campbell, Mohammed, Coleman, & MacSweeney, 2013; Mohammed, Campbell, MacSweeney, Barry, & Coleman, 2006)。听障者不仅需要获得说话者唇部周围形成的静态视觉表征, 更需要觉察到说话人在视觉感知上的变化, 尤其是其面部及唇部的动态变化。与健听者不同, 听障者的唇读并不是单纯地通过无意注意获得视觉辅助信息, 而是一种有意识的言语加工过程, 是其主要的感知语音信息的方式(Kyle, Campbell, & MacSweeney, 2016)。

2.1 唇读与语音表征的形成

基于阅读简单观(the Simple View of Reading), 解码(形-音转换)是阅读活动顺利进行的基础(Gough & Tunmer, 1986; Hoover & Gough, 1990)。健听儿童通过听觉发展出语音意识等语音相关技能, 而研究表明听力受损的听障人群可以通过视觉, 即唇读来感知口语中的语音信息, 其语音表征的形成多依赖于唇读能力(Alegría & Lechat, 2005; Dodd, 1987; Dodd & Hermelin, 1977; Jerger, Tye-Murray, Damian, & Abdi, 2016; Rodríguez-Ortiz, Saldaña, & Moreno Perez, 2017)。Dodd和Hermelin早在1977年就通过一系列实验发现, 重度听力受损的儿童主要依靠唇读来获得语音信息, 从而可以完成同音词匹配及韵尾识别的任务。该结果说明, 听障人群可以通过唇读发展出亚词汇水平的语音表征。Rodríguez-Ortiz等人(2017)测查了听障组、生理年龄匹配的健听组、阅读年龄匹配的健听组三组人群的语音意识、词汇知识、唇读能力以及阅读速度等, 结果发现听障组的唇读得分与语音意识显著相关, 从行为测验的层面证明了唇读是听障人群获取口语信息、发展语音表征的主要途径。

既然唇读可以帮助听障人群建立语音表征, 那么听障者在唇读时是否可以激活大脑的听觉皮层呢?国内研究者结合已有研究, 分析了唇读研究领域中两个具有代表性的理论:特定区域整合模型(Site-specific Integration Model)和信息传输接替模型(Communication Relay Model) (雷江华, 方俊明, 2005)。其中, 前者认为唇读是特定大脑皮层加工的结果, 听障者视觉语言的感知并不依赖于听觉皮层的激活; 而后者则认为, 听障者在唇读时能够同时激活视觉皮层和听觉皮层, 即其听觉皮层具有一定的可塑性。虽然关于唇读的生理机制还存在诸多分歧, 但越来越多的研究支持了信息传输接替模型。听障人群的唇读经验在一定程度上可能有助于听觉皮层的重塑与语言神经通路的发展(e.g., 雷江华等, 2014; Capek et al., 2008)。雷江华等(2014)通过功能性核磁共振成像技术(fMRI)对汉语听障大学生唇读时的大脑皮层加工机制进行了探讨, 虽然没有发现颞上回的激活, 但发现了左右两侧颞中回的激活, 可以在一定程度上说明视觉感知的跨通道特性。Capek等人(2008)则发现在无声唇读的条件下, 听障被试左侧颞上皮层中后部的激活要大于健听被试, 且其唇读技能与颞上皮层区域的激活存在正相关, 该研究指出听障被试比健听被试在颞上区域出现更大的激活可能反映了听障个体该部分脑区的可塑性, 并且该可塑性与听障个体的唇读技能有关。

2.2 唇读与词汇知识的获得

词汇知识对阅读能力的重要性在不同被试群体(e.g., Harris, Terlektsi, & Kyle, 2017a; Herman, Kyle, & Roy, 2019)以及不同文字体系(e.g., Binder, Cote, Lee, Bessette, & Vu, 2017; Su et al., 2018)的研究中得到了较为一致的结果。从传统意义上而言, 唇读被认为是一种帮助听障人群理解口语词汇的补偿机制(Elphick, 1996), 二者之间应该存在一定的关系。相关研究发现, 唇读是影响听障儿童的一项重要技能, 与词汇知识一起影响着听障儿童的各项阅读能力, 并且可以相互独立地解释听障儿童阅读成绩的变异(Kyle & Harris, 2010; Kyle et al., 2016)。此外, 早期的唇读能力也是听障儿童阅读发展的稳定的纵向预测指标(Harris et al., 2017a)。不过, 最近一项旨在比较听障和阅读障碍儿童阅读机制异同的研究发现, 唇读虽然与听障儿童的字词阅读、非词阅读以及拼写有稳定的相关, 但在控制儿童的表达性词汇之后, 唇读与字词及非词阅读的相关不再显著。该发现与以往研究结果不太相符, 为此研究者提出了被试年龄以及语言背景多样化的解释(Herman et al., 2019)。由此我们可以推测, 唇读与词汇知识之间关系比较复杂, 可能受到多种因素影响, 但可以将二者的关系放在阅读简单观的框架下进行分析(Gough & Tunmer, 1986; Hoover & Gough, 1990):唇读是听障儿童发展语音意识及解码能力的基础, 而词汇知识则保证了解码之后语音和意义信息的匹配。唇读和词汇知识既是听障儿童阅读能力的重要预测指标, 同时二者之间也有一定的内部作用机制。一方面, 对于心理词典中没有储存的词汇, 听障儿童不可能正确地进行唇读; 另一方面, 唇读经验的不断积累也有助于听障儿童词汇知识的增长, 唇读有可能是口语词汇进入到听障儿童心理词典中的唯一方式(Kyle et al., 2016)。唇读与词汇知识之间的复杂关系及二者在影响听障人群阅读能力过程中的相互作用机制有待未来研究深入考察。

2.3 唇读与阅读能力的水平

唇读主要依赖于视觉, 而字、词、句、篇等各个单元书面文本的准确及流畅阅读也需要视觉通道参与。阅读虽然多以默读的方式进行, 却是以早期口语能力的发展为基础的(Perfetti & Sandak, 2000; Nation, Cocksey, Taylor, & Bishop, 2010)。唇读是听障人群加工口语信息、建立语音表征的主要途径, 因此听障者的唇读能力与阅读水平之间存在密切的关系, 这一点已被许多研究所证实(e.g., Harris & Moreno, 2006; Harris et al., 2017a; Kyle & Harris, 2006, 2010, 2011; Kyle et al., 2016; Mohammed et al., 2006; Rodríguez-Ortiz et al., 2017)。研究者多以单字阅读、阅读理解的得分来表征个体的阅读能力。Mohammed等人(2006)对重度语前聋组、有阅读障碍的健听组以及没有任何读写障碍的健听组三组成人被试进行了比较, 测量了他们的唇读能力、阅读理解水平以及其他阅读技能。结果表明, 三组被试唇读的内部加工机制不尽相同, 只有听障被试可以分解和辨析较长的语音流; 即使在控制语音意识及词汇的情况下, 听障被试的唇读能力与阅读理解的相关仍然显著。此外, 听障儿童早期的唇读技能也可以纵向预测后期的单字阅读及阅读理解的水平(Harris et al., 2017a; Kyle & Harris, 2010, 2011)。并且随着阅读水平的发展, 唇读在听障儿童阅读理解中可能会发挥更重要的作用(Kyle et al., 2016)。虽然大多数听障者在阅读时会体验到困难, 且与同龄健听人相比存在明显的滞后, 但仍然有一些听障者可以成为熟练的阅读者。那么是什么因素促使这些听障者成为成功的阅读者呢?为了回答这一问题, Harris和Moreno (2006)以18名听力受损的儿童为被试, 以单字阅读的成绩将其分为高阅读水平组和低阅读水平组。高水平组阅读能力的滞后年龄要小于10个月, 而低水平组则大于15个月, 且高水平组的阅读理解得分要显著好于低水平组。回归分析的结果表明, 在控制唇读能力的情况下, 语音错误并不能显著预测阅读滞后水平的变异; 而在控制语音错误的情况下, 唇读能力却依然可以显著地解释阅读滞后的变异。

综上所述, 唇读与听障人群的各项阅读能力都密切相关。就其内部作用机制而言, 唇读可能有助于听障儿童利用精确的语音表征建立形-音对应规则, 从而顺利地进行解码。聚类分析的结果也证实, 基于唇读发展出的语音编码能力才是听障者顺利进行阅读活动的关键(Harris & Moreno, 2006)。此外, 唇读也能不断丰富听障儿童的口语词汇库, 使更多的口语词汇进入到心理词典中, 有利于解码之后的语音与头脑中口语词汇的表象进行匹配, 最终实现阅读活动中形-音-义的转换及联结。当然, 仅仅依靠唇读是不足以支持听障儿童语言及阅读能力发展的, 另一视觉语言——手语的重要性也不容忽视。

3 手语对听障人群阅读能力的影响

手语是听障人群经常使用的较为系统化和形象化的手势符号, 是一种非口语性的言语交流方式, 其语言学地位已得到了普遍的认可(丁国盛, 李妍妍, 2012; 方俊明, 何大芳, 2003)。与唇读一样, 手语也是一种视觉语言; 而同口语一样, 手语也有其语言内部的结构和规律。首先, 手语有语音(phonology)的特性。手语的语音虽然不同于口语语音, 但是也有一定的体系, 其语音系统包含有手形(handshape)、运动(movement)、方向(orientation)以及位置(location)四大视觉要素。其次, 手语也有一定的象似性(iconicity), 这是手语这一视觉语言独有的特征, 即每一个手语符号的表现模式与其所表达意义之间的匹配程度, 类似于口语中的拟声词, 有透明与半透明之分。例如, 手语中的“房子”一词, 其手势表达方式就包含有两手交叉, 看起来很像房子的房顶, 因而较为透明。越能从手势表达方式中推测出其所代表的意义, 该词在手语体系中的透明程度就越高。研究表明, 在听障者阅读的过程中, 手语的语音和象似性表征都会得到一定程度的激活(e.g., Ormel, Hermans, Knoors, & Verhoeven, 2009; Pan, Shu, Wang, Yan, 2015)。

3.1 手语的跨语言激活效应

双语学习的研究者普遍认为, 双语者在使用其中一门语言的同时会激活另外一门语言。同样, 听障者作为特殊的双语使用者, 在加工第二语言(其他的主流语言)时, 也能够激活手语语音和象似性的表征。在进行词汇-图片匹配的任务时, 听障者在判断手语语音要素(手形、运动、方向、位置)重叠程度较大的词汇时会产生抑制效应, 出现更长的反应时和更多的错误; 而在判断手语象似性较为透明的词汇时会出现促进效应, 表现为更短的反应时和更少的错误(Ormel et al., 2009; Ormel, Hermans, Knoors, & Verhoeven, 2012)。有研究者以19名以美国手语(American Sign Language, ASL)为第一语言、英语为第二语言的听障者为实验组, 15名以其他主流语言(如日语、法语等)为第一语言、英语为第二语言的健听者为对照组, 试图探讨手语和英语这两种在语音与正字法层面都极少有交叉重叠的语言体系是否能够相互激活。通过控制英语词汇的语义相关性以及词汇所对应的手语语音重叠性, 发现听障者的两种语言之间存在跨语言体系的激活, 而在健听人群中则没有发现该现象。也就是说, 听障者在加工口语或书面语词汇时可以激活手语表征, 同时手语语音的不同要素(手形、运动、方向、位置)对这种跨语言体系激活的影响程度可能不同(Morford, Wilkinson, Villwock, Piñar, & Kroll, 2011)。

为了进一步细致刻画听障人群在自然阅读过程中的加工机制, 有研究者采用眼动追踪法对该问题进行了探讨, 得到了较为相似的结果。Pan等人(2015)以43名听力严重受损的听障者为被试(平均年龄19.1岁), 同时以39名五年级小学生为阅读年龄匹配组, 通过控制汉语句子中预视词和目标词的关系, 采用边界范式对听障人群书面语和手语之间的激活进行了研究。结果发现, 与无关预视条件相比, 当预视词和目标词的手语表征在语音系统上有一定程度的重叠时, 听障者对目标词的注视时间会更长, 即出现“预视消耗效应” (preview cost effect); 而在阅读年龄匹配的健听儿童身上, 却没有发现这一现象。该结果表明, 听障者在阅读汉语句子的过程中, 确实能够激活副中央凹词汇的手语表征。然而Chiu和Wu (2016)的研究却得到了和Pan等人(2015)不一致的结果, 表现为无论在早期还是晚期眼动指标上, 都出现了手语语音的预视效应(preview effect)。对此, Chiu和Wu (2016)认为两项研究结果的差异可能是由于被试特征以及实验材料造成的。例如, 学校对汉语语音的训练可能是造成Pan等人(2015)研究中手语语音预视消耗效应的原因之一, 当听障学生开始阅读时, 他们的手语语音会自动被激活, 但也可能不得不与更强的汉语语音相竞争。而在Chiu和Wu (2016)的研究中, 被试都是手语使用十分熟练的成人, 他们会频繁的使用手语, 受另一语言体系语音的影响就会较小。但不得不承认的是, 两项研究都证实了听障人群在阅读句子时, 会跨语言激活副中央凹词汇的手语表征。不仅如此, 书面语与手语的激活还体现在文字输出的过程中。Thierfelder和Stapleton (2016)通过错误类型分析发现, 使用香港手语的听障者在书写英语的过程中, 其部分错误似乎是由于香港手语导致的。此外, 事件相关电位(ERP)研究中N400效应的发现也从生理机制的层面上验证了阅读过程中共享语音特性的手语词汇的实时激活(e.g., Grosvald, Gutierrez, Hafer, and Corina, 2012; Gutierrez, Williams, Grosvald, & Corina, 2012)。

3.2 手语与阅读能力的习得

一个显而易见却又经常被忽略的事实是, 不掌握一门语言的儿童是无法学会阅读的, 因为他们没有可以依赖的、足以与书面符号相匹配的语言。任何语言的学习都有助于儿童学会阅读, 尽管该语言可能并不是“可以印刷出来的语言”, 如手语。在美国, ASL被认为是听障人群的第一语言, 熟练的ASL使用者往往是更好的英语阅读者, 尽管ASL的体系结构与英语有很大差异(Goldin- Meadow & Mayberry, 2001)。Allen (2015)测查了3至5岁听障儿童的语言技能、家庭环境以及读写能力等, 发现在控制指拼技能(fingerspelling)的情况下, ASL对儿童的字母知识仍有独立的影响。字母知识是解码的基础, 可以推测以手语为第一语言的听障者, 其手语的熟练程度与其第二语言文字体系下的阅读能力密切相关。在一项以51名听障手语使用者为对象的研究中, 研究者基于三项ASL的测验将被试划分为熟练的和不熟练的手语使用者, 并采用句子-图片匹配任务测量了被试的英语阅读理解能力, 结果发现熟练的手语使用可以在单字和句法层面上支持英语句子的阅读理解(Andrew, Hoshooley, & Joanisse, 2014)。手语可以促进拼音文字体系下儿童的字母学习、语音意识以及相关读写能力(Allen, 2015; Clark et al., 2016; Corina, Hafer, & Welch, 2014; Strong & Prinz, 1997), 其作用机制可能源于手语涵盖有基于视觉的语音加工过程。MacSweeney, Waters, Brammer, Woll和Goswami (2008)通过fMRI技术探讨了手语和英语语音判断在神经机制上的关联, 发现听障手语使用者在完成手语和英语语音相似性判断任务时, 都有相似的左侧额顶网络的参与。此外, 颞叶的听觉皮层, 是探讨听障人群手语使用及认知过程的神经基础的研究者尤为关注的区域(e.g., Aparicio et al., 2017; Nishimura et al., 1999)。1999年, Nishimura等人的研究表明, 听障个体的手语理解可以激活颞上皮层。Sadato等人(2004)还进一步分析了听障者听力受损时的年龄对大脑可塑性变化的影响, 发现不管是早期(2岁以前)还是晚期(5岁以后), 手语理解都激活了颞上回的颞平面部分, 同时早期听力受损的听障个体还出现了双侧颞上沟中部的激活。汉语听障人群手语fMRI的研究也表明, 手语与有声语言的大多数功能区是重叠的(丁国盛, 李妍妍, 2012; 方俊明, 何大芳, 2003)。手语的使用有助于促进听障人群大脑听觉及语言区的活动, 进而影响其阅读能力的发展。

围绕听障儿童手语与阅读能力习得的关系, 研究者提出了各种各样的理论模型, 都十分强调手语在听障儿童早期阅读能力发展阶段中的重要性(e.g., Andrews, Hamilton, Dunn, & Clark, 2016; Hermans, Knoors, Ormel, & Verhoeven, 2008; Hoffmeister & Caldwell-Harris, 2014)。在第二语言词汇学习模型的基础上, Hermans等人(2008)提出了以手语为主要语言的双语听障儿童的阅读词汇习得模型, 认为大多数听障儿童的口语不足以支持书面语的发展, 需要依靠手语来习得书面词汇的意义。该模型强调儿童从一开始就需要建立书面词汇和手语系统之间的联结, 此时, 书面词汇的词条可以进入到心理词典中, 但只含有正字法信息, 语素、语法、语义表征都是空的, 想要通达书面词汇的意义就必须涉及到手语的加工。而随着心理词典中书面词汇的表征越来越丰富, 书面词汇与概念系统之间的联结也逐渐建立起来。Hoffmeister和Caldwell-Harris (2014)也试图通过三阶段模型来阐释听障儿童学会阅读的过程:儿童首先将书面印刷符号与ASL的意义相匹配, 在习得词汇的过程中努力克服并掌握不透明的匹配, 最终以双语的模式加工书面文本, 通过阅读获得英语知识。与Hermans等人(2008)模型的第一个阶段相似, 该模型指出在接触印刷文字的初期, 那些手语技能发展较好的听障儿童可以习得与手语词汇或短语相匹配的印刷符号。当然, 这种最初的词汇匹配是远远不够的, 儿童需要凭借手语的语法和语义表征去理解复杂的词汇结构和现象(如一词多义)以及亚词汇水平的规律(Hermans et al., 2008; Hoffmeister & Caldwell-Harris, 2014)。

4 启示及展望

4.1 教学干预的启示

正如邓慧兰(2014)提到的, 特殊教育的哲学就是在面向各种残障时都应使用特殊的处理手段。听障人群也不例外。唇读是听障者加工口语语音、形成语音表征、获得口语词汇的重要途径; 在阅读过程中存在手语的跨语言激活效应。这两种主要的视觉语言皆被证实会影响到听障人群的阅读能力。就二者之间的关系而言, 有研究者认为手势交流方式的运用和不熟练的唇读能力之间有一定的关系(Bernstein, Demorest, & Tucker, 1998)。也就是说, 当唇读能力不足以支持个体对言语信息的加工时, 手语就会起到一定的补偿作用; 而对于那些手语比较熟练的听障者而言, 唇读技能的获得可能是其口语语音编码能力形成的重要基础(Mohammed et al., 2006)。听障者在使用手语交流的过程中, 认知思维的水平会得到一定的提升, 能更有效地将心理词典中词语的内涵、手势表征与唇读中的口型等建立联系。当然, 强调视觉语言的重要性绝不是反对助听设备的使用或否定口语训练的效果, 也不是为了夸大唇读和手语训练的作用, 而是希望听障人群语言的独特之处能得到充分的重视。如果等到儿童口语训练效果不好, 才开始考虑其他语言方式, 可能为时已晚。在听障儿童语言发展的关键期, 就应该重视视觉语言的训练(李德高, 张积家, 2006; 李俊宏, 丁国盛, 2013), 使儿童习得足够的词汇知识及相应的语法结构、掌握好一门语言, 以便为阅读能力的发展奠定基础。

4.2 小结与研究展望

基于健听儿童阅读能力习得规律发展出来的双通路及相关模型已广为阅读领域的研究者所认可(Baron & Strawson, 1976; Coltheart et al., 2001)。而与该模型相似, 听障人群的字词识别双通道模型(Elliott, Braun, Kuhlmann, & Jacobs, 2012)认为听障者可以基于口型发展出口语的亚词汇表征, 在阅读过程中这些亚词汇单元会被激活。与健听者不同, 这些亚词汇单元是以视觉为基础的, 也叫视素(visemes或visual phonemes), 与唇读有着密切的关系。除亚词汇通道外, 可以推测, 听障人群也可以凭借词汇和手语表征之间的匹配, 直接从词汇通道通达心理词典中的目标词。唇读和手语这两种视觉语言影响着听障人群各个水平的阅读能力。唇读有助于听障者听觉皮层的重塑, 促使其逐渐形成以声音为基础的语音表征, 为口语词汇进入心理词典提供一个通道(Kyle et al., 2016; Rodríguez-Ortiz et al., 2017); 天然的手语输入不仅不会危及到听障儿童口语的发展, 反而可以缓解因早期听力剥夺对其口语发展所造成的负面影响(Davidson, Lillo-Martin, & Pichler, 2014), 同时能帮助听障者形成以手势为基础的语音表征。

可以说, 基于视觉语言的阅读模型详细描述了在听觉通道受损、听觉语音无法利用的情况下, 听障人群是如何建立书面符号和意义之间的联结的。Andrews等人(2016)回顾并介绍了各种以视觉语言为中心的听障儿童阅读模型, 并指出所有的听障儿童都可以是双语的, 视觉语言可以帮助他们成为有读写能力的人。未来研究应该充分关注视觉语言——唇读及手语对听障人群阅读能力的影响及复杂的作用机制, 为听障儿童早期的阅读干预提供一定的理论支持。具体而言, 未来的研究需着力考虑以下几个方面的议题:第一, 听障人群的听力损失程度、偏好的交流方式、助听设备的使用等有很大差异, 这些基础的人口学变量所带来的影响是研究者们极为关心的话题。因此, 视觉语言对听障人群阅读能力的影响在不同特点人群中的表现可能不同。第二, 唇读和手语都能够促进听障儿童语音意识的发展、词汇知识的获得, 但编码形式可能不同, 前者基于口语语音, 后者基于手势语音。如果同时考虑唇读和手语对阅读能力的影响, 听障儿童的元语言意识(语音意识、语素意识以及正字法意识)、词汇知识以及相关读写技能, 是否是其响阅读能力过程中的中介或调节变量?在不同阅读发展阶段是否会呈现不同的预测模式?其复杂的作用机制值得进一步研究。第三, 大多数研究都集中在拼音文字。汉语是表意文字, 其书写符号、构词方式以及形-音对应规则等与拼音文字有很大差异, 汉语儿童的解码过程与英语等拼音文字体系下儿童的解码过程也大不相同。基于拼音文字的研究所提出的听障人群字词识别的双通道模型(Elliott et al., 2012)是否也适用于汉语儿童?未来可以基于行为和生理机制研究, 发展出适用于汉语听障人群阅读能力习得的理论模型。

参考文献

陈乐乐 . (2015).

聋儿手语与其认知发展研究述评

中国特殊教育, (3), 26-31.

[本文引用: 1]

邓慧兰 . (2014).

聋童语言获得与手语双语共融教育: 语言科学研究之知识转移

语言科学, 13(1), 24-33.

[本文引用: 1]

丁国盛, 李妍妍 . (2012).

聋人早期手语经验对脑功能及结构的塑造作用

心理科学进展, 20(3), 328-337.

[本文引用: 2]

方俊明, 何大芳 . (2003).

中国聋人手语脑功能成像的研究

中国特殊教育, (2), 50-57.

[本文引用: 2]

雷江华 . (2009). 听觉障碍学生唇读的认知研究. 北京: 中国社会科学出版社.

[本文引用: 1]

雷江华, 方俊明 . (2005).

聋人唇读的大脑机制研究

心理科学, 28(1), 10-12.

[本文引用: 1]

雷江华, 刘昌, 方俊明, 李建奇, 王丽佳 . (2014).

听觉障碍学生唇读的fMRI研究

教育研究与实验, (3), 69-72.

[本文引用: 3]

雷江华, 孙灯勇, 刘昌, 方俊明 . (2010).

语音编码在聋生唇读汉字语音识别中的作用

心理科学, 33(2), 315-317.

[本文引用: 1]

李德高, 张积家 . (2006).

先天聋人的语音、正字法意识和概念知识结构

心理科学进展, 14(3), 354-359.

[本文引用: 2]

李俊宏, 丁国盛 . (2013).

手语和口语理解及产生的脑机制对比

心理科学进展, 21(9), 1560-1569.

[本文引用: 1]

刘卿 . (2010).

九年制聋校毕业生书面语言能力发展研究——以南京特教学院2007-2009年聋生语文升学试卷分析为例

中国特殊教育, (6), 29-34.

[本文引用: 1]

Alegría, J., & Lechat, J . (2005).

Phonological processing in deaf children: When lipreading and cues are incongruent

Journal of Deaf Studies and Deaf Education, 10(2), 122-133.

[本文引用: 1]

Allen, T. E . (2015).

ASL skills, fingerspelling ability, home communication context and early alphabetic knowledge of preschool-aged deaf children

Sign Language Studies, 15(3), 233-265.

[本文引用: 2]

Andrew, K. N., Hoshooley, J., & Joanisse, M. F . (2014).

Sign language ability in young deaf signers predicts comprehension of written sentences in English

Plos One, 9(2), e89994.

[本文引用: 1]

Andrews, J. F., Hamilton, B., Dunn, K. M., & Clark, M. D . (2016).

Early reading for young deaf and hard of hearing children: Alternative frameworks

Psychology, 7(4), 510-522.

[本文引用: 2]

Aparicio, M., Peigneux, P., Charlier, B., Baleriaux, D., Kavec, M., & Leybaert, J . (2017).

The neural basis of speech perception through lipreading and manual cues: Evidence from deaf native users of cued speech

Frontiers in Psychology, 8, 426.

[本文引用: 1]

Baron, J., & Strawson, C . (1976).

Use of orthographic and word-specific knowledge in reading words aloud

Journal of Experimental Psychology: Human Perception and Performance, 2(3), 386-393.

[本文引用: 2]

Bernstein, L. E., Demorest, M. E., & Tucker, P. E . (1998) . What makes a good speechreader? First you have to find one. In R. Campbell, B. Dodd, & D. Burnham (Eds.), Hearing by eye II (pp. 211-227). Hove, East Sussex: Psychology Press.

[本文引用: 1]

Bernstein, L. E., Tucker, P. E., & Demorest, M. E . (2000).

Speech perception without hearing

Perception & Psychophysics, 62(2), 233-252.

[本文引用: 1]

Binder, K. S., Cote, N. G., Lee, C., Bessette, E., & Vu, H . (2017).

Beyond breadth: The contributions of vocabulary depth to reading comprehension among skilled readers

Journal of Research in Reading, 40(3), 333-343.

[本文引用: 1]

Capek, C. M., Macsweeney, M., Woll, B., Waters, D., Mcguire, P. K., David, A. S., ... Campbell, R . (2008).

Cortical circuits for silent speechreading in deaf and hearing people

Neuropsychologia, 46(5), 1233-1241.

[本文引用: 2]

Chiu, Y. S., & Wu, M. D . (2016).

Use of phonological representations of Taiwan sign language in Chinese reading: Evidence from deaf signers

Bulletin of Special Education, 41(1), 91-109.

[本文引用: 3]

Clark, M. D., Hauser, P. C., Miller, P., Kargin, T., Rathmann, C., Guldenoglu, B., ... Israel, E . (2016).

The importance of early sign language acquisition for deaf readers

Reading & Writing Quarterly, 32(2), 127-151.

[本文引用: 1]

Coltheart, M., Rastle, K., Perry, C., Langdon, R., & Ziegler, J . (2001).

DRC: A dual route cascaded model of visual word recognition and reading aloud

Psychological Review, 108(1), 204-256.

[本文引用: 2]

Corina, D. P., Hafer, S., & Welch, K . (2014).

Phonological awareness for American sign language

Journal of Deaf Studies and Deaf Education, 19(4), 530-545.

[本文引用: 1]

Davidson, K., Lillo-Martin, D., & Pichler, D. C . (2014).

Spoken English language development among native signing children with cochlear implants

Journal of Deaf Studies and Deaf Education, 19(2), 238-250.

[本文引用: 1]

Dodd, B . (1987).

Lip-reading, phonological coding, and deafness

In B. Dodd & R. Campbell (Eds.), Hearing by eye: The psychology of lip-reading ( pp. 177-189). London: Lawrence Erlbaum.

[本文引用: 1]

Dodd, B., & Hermelin, B . (1977).

Phonological coding by the prelinguistically deaf

Perception & Psychophysics, 21(5), 413-417.

[本文引用: 1]

Ehri, L. C . (1995).

Phases of development in learning to read words by sight

Journal of Research in Reading, 18(2), 116-125.

[本文引用: 1]

Ehri, L. C . (2005).

Learning to read words: Theory, findings, and issues

Scientific Studies of Reading, 9(2), 167-188.

[本文引用: 1]

Elliott, E. A., Braun, M., Kuhlmann, M., & Jacobs, A. M . (2012).

A dual-route cascaded model of reading by deaf adults: Evidence for grapheme to viseme conversion

Journal of Deaf Studies and Deaf Education, 17(2), 227-243.

[本文引用: 2]

Elphick, R . (1996).

Issues in comparing the speechreading abilities of hearing-impaired and hearing 15 to 16 year-old pupils

British Journal of Educational Psychology, 66(3), 357-365.

[本文引用: 1]

Goldin-Meadow, S., & Mayberry, R. I . (2001).

How do profoundly deaf children learn to read?

Learning Disabilities Research & Practice, 16(4), 222-229.

[本文引用: 1]

Gough, P. B., & Tunmer, W. E . (1986).

Decoding, reading, and reading disability

Remedial and Special Education, 7(1), 6-10.

[本文引用: 2]

Grosvald, M., Gutierrez, E., Hafer, S., & Corina, D . (2012).

Dissociating linguistic and non-linguistic gesture processing: Electrophysiological evidence from American sign language

Brain and Language, 121(1), 12-24.

[本文引用: 1]

Gutierrez, E., Williams, D., Grosvald, M., & Corina, D . (2012).

Lexical access in American sign language: An ERP investigation of effects of semantics and phonology

Brain Research, 1468, 63-83.

[本文引用: 1]

Harris, M., & Moreno, C . (2006).

Speech reading and learning to read: A comparison of 8-year-old profoundly deaf children with good and poor reading ability

Journal of Deaf Studies and Deaf Education, 11(2), 189-201.

[本文引用: 3]

Harris, M., Terlektsi, E., & Kyle, F. E . (2017a).

Concurrent and longitudinal predictors of reading for deaf and hearing children in primary school

Journal of Deaf Studies and Deaf Education, 22(2), 233-242.

DOI:10.1093/deafed/enw101      URL     [本文引用: 4]

Harris, M., Terlektsi, E., & Kyle, F. E . (2017b).

Literacy outcomes for primary school children who deaf and hard of hearing: A cohort comparison study

Journal of Speech, Language, and Hearing Research, 60(3), 701-711.

[本文引用: 1]

Herman, R., Kyle, F. E., & Roy, P . (2019).

Literacy and phonological skills in oral deaf children and hearing children with a history of dyslexia

Reading Research Quarterly, 54(4), 553-575.

[本文引用: 2]

Hermans, D., Knoors, H., Ormel, E., & Verhoeven, L . (2008).

Modeling reading vocabulary learning in deaf children in bilingual education programs

Journal of Deaf Studies and Deaf Education, 13(2), 155-174.

[本文引用: 4]

Hoffmeister, R. J., & Caldwell-Harris, C. L . (2014).

Acquiring English as a second language via print: The task for deaf children

Cognition, 132(2), 229-242.

[本文引用: 3]

Hoover, W. A., & Gough, P. B . (1990).

The simple view of reading

Reading and writing, 2(2), 127-160.

[本文引用: 2]

Jerger, S., Tye-Murray, N., Damian, M., & Abdi, H . (2016).

Phonological priming in children with hearing loss: Effect of speech mode, fidelity, and lexical status

Ear and Hearing, 37(6), 623-633.

[本文引用: 1]

Kyle, F. E., Campbell, R., & MacSweeney, M . (2016).

The relative contributions of speechreading and vocabulary to deaf and hearing children's reading ability

Research in Developmental Disabilities, 48, 13-24.

[本文引用: 6]

Kyle, F. E., Campbell, R., Mohammed, T., Coleman, M., & MacSweeney, M . (2013).

Speechreading development in deaf and hearing children: Introducing the test of child speechreading

Journal of Speech, Language, and Hearing Research, 56(2), 416-426.

[本文引用: 1]

Kyle, F. E., & Harris, M . (2006).

Concurrent correlates and predictors of reading and spelling achievement in deaf and hearing school children

Journal of Deaf Studies and Deaf Education, 11(3), 273-288.

[本文引用: 1]

Kyle, F. E., & Harris, M . (2010).

Predictors of reading development in deaf children: A 3-year longitudinal study

Journal of Experimental Child Psychology, 107(3), 229-243.

[本文引用: 4]

Kyle, F. E., & Harris, M . (2011).

Longitudinal patterns of emerging literacy in beginning deaf and hearing readers

Journal of Deaf Studies and Deaf Education, 16(3), 289-304.

[本文引用: 2]

Lederberg, A. R., Schick, B., & Spencer, P. E . (2013).

Language and literacy development of deaf and hard-of- hearing children: Successes and challenges

Developmental Psychology, 49(1), 15-30.

[本文引用: 1]

Luckner, J. L., & Cooke, C . (2010).

A summary of the vocabulary research with students who are deaf or hard of hearing

American Annals of the Deaf, 155(1), 38-67.

[本文引用: 1]

MacSweeney, M., Waters, D., Brammer, M.J., Woll, B., & Goswami, U . (2008).

Phonological processing in deaf signers and the impact of age of first language acquisition

NeuroImage, 40(3), 1369-1379.

[本文引用: 1]

Mayberry, R. I., Chen, J., Witcher, P., & Klein, D . (2011).

Age of acquisition effects on the functional organization of language in the adult brain

Brain and Language, 119(1), 16-29.

[本文引用: 1]

McBride-Chang, C., Tong, X., Shu, H., Wong, A. M.-Y., Leung, K.-W., & Tardif, T . (2008).

Syllable, phoneme, and tone: Psycholinguistic units in early Chinese and English word recognition

Scientific Studies of Reading, 12(2), 171-194.

[本文引用: 1]

Mcgurk, H., & Macdonald, J . (1976).

Hearing lips and seeing voices

Nature, 264(5588), 746-748.

[本文引用: 1]

Moeller, M., Tomblin, J., Yoshinaga-Itano, C., Connor, C., & Jerger, S . (2007).

Current state of knowledge: Language and literacy of children with hearing impairment

Ear and Hearing, 28(6), 740-753.

DOI:10.1097/AUD.0b013e318157f07f      URL     [本文引用: 1]

Mohammed, T., Campbell, R., MacSweeney, M., Barry, F., & Coleman, M . (2006).

Speechreading and its association with reading among deaf, hearing and dyslexic individuals

Clinical Linguistics & Phonetics, 20(7-8), 621-630.

[本文引用: 4]

Morford, J. P., Wilkinson, E., Villwock, A., Piñar, P., & Kroll, J. F . (2011).

When deaf signers read English: Do written words activate their sign translations?

Cognition, 118(2), 286-292.

[本文引用: 1]

Nation, K., Cocksey, J., Taylor, J. S. H., & Bishop, D. V. M . (2010).

A longitudinal investigation of early reading and language skills in children with poor reading comprehension

Journal of Child Psychology and Psychiatry, 51(9), 1031-1039.

DOI:10.1111/j.1469-7610.2010.02254.x      URL     [本文引用: 1]

Nishimura, H., Hashikawa, K., Doi, K., Iwaki, T., Watanabe, Y., Kusuoka, H., ... Kubo, T . (1999).

Sign language 'heard' in the auditory cortex

Nature, 397(6715), 116.

[本文引用: 1]

Ormel, E., Hermans, D., Knoors, H., & Verhoeven, L . (2009).

The role of sign phonology and iconicity during sign processing: The case of deaf children

Journal of Deaf Studies and Deaf Education, 14(4), 436-448.

[本文引用: 2]

Ormel, E., Hermans, D., Knoors, H., & Verhoeven, L . (2012).

Cross-language effects in written word recognition: The case of bilingual deaf children

Bilingualism: Language and Cognition, 15(2), 288-303.

DOI:10.1017/S1366728911000319      URL     [本文引用: 1]

Pan, J., Shu, H., Wang, Y., & Yan, M . (2015).

Parafoveal activation of sign translation previews among deaf readers during the reading of Chinese sentences

Memory & Cognition, 43(6), 964-972.

[本文引用: 4]

Perfetti, C. A., & Sandak, R . (2000).

Reading optimally builds on spoken language: Implications for deaf readers

Journal of Deaf Studies and Deaf Education, 5(1), 32-50.

DOI:10.1093/deafed/5.1.32      URL     [本文引用: 2]

Rodríguez-Ortiz, I. R., Saldaña, D., & Moreno-Perez, F. J . (2017).

How speechreading contributes to reading in a transparent orthography: The case of Spanish deaf people

Journal of Research in Reading, 40(1), 75-90.

[本文引用: 4]

Sadato, N., Yamada, H., Okada, T., Yoshida, M., Hasegawa, T., Matsuki, K., ... Itoh, H . (2004).

Age-dependent plasticity in the superior temporal sulcus in deaf humans: A Functional MRI study

BMC Neuroscience, 5(1), 56.

[本文引用: 1]

Shu, H., Peng, H., & McBride-Chang, C . (2008).

Phonological awareness in young Chinese children

Developmental Science, 11(1), 171-181.

[本文引用: 1]

Strong, M., & Prinz, P. M . (1997).

A study of the relationship between American sign language and English literacy

Journal of Deaf Studies and Deaf Education, 2(1), 37-46.

[本文引用: 1]

Su, M., de Schotten, M. T., Zhao, J., Song, S., Zhou, W., Gong, G., ... Shu, H . (2018).

Vocabulary growth rate from preschool to school-age years is reflected in the connectivity of the arcuate fasciculus in 14-year-old children

Developmental Science, 21(5), e12647.

[本文引用: 1]

Thierfelder, P., & Stapleton, P . (2016).

Errors in the written English of native users of sign language: An exploratory case study of Hong Kong deaf students

System, 58, 12-24.

[本文引用: 1]

Vellutino, F. R., Fletcher, J. M., Snowling, M. J., & Scanlon, D. M . (2004).

Specific reading disability (dyslexia): What have we learned in the past four decades?

Journal of Child Psychology and Psychiatry, 45(1), 2-40.

[本文引用: 1]

Wauters, L. N., van Bon,, W. H. J., Tellings, A. E. J. M . (2006).

Reading comprehension of Dutch deaf children

Reading and Writing, 19(1), 49-76.

DOI:10.1007/s11145-004-5894-0      URL     [本文引用: 1]

/


版权所有 © 《心理科学进展》编辑部
地址:北京市朝阳区林萃路16号院 
邮编:100101 
电话:010-64850861 
E-mail:jinzhan@psych.ac.cn
备案编号:京ICP备10049795号-1 京公网安备110402500018号

本系统由北京玛格泰克科技发展有限公司设计开发