ISSN 1671-3710
CN 11-4766/R
主办:中国科学院心理研究所
出版:科学出版社

心理科学进展, 2020, 28(3): 426-433 doi: 10.3724/SP.J.1042.2020.00426

研究前沿

手势认知功能研究的新视角:“空间化”手势假设

于文华1, 鲁忠义,2

1 河北师范大学学前教育学院

2 河北师范大学教育学院心理系, 石家庄 050024

A new perspective on the cognitive function of gestures: The “spatializing” gesture hypothesis

YU Wenhua1, LU Zhongyi,2

1 College of Preschool Education, Hebei Normal University, Shijiazhuang 050024, China

2 Department of Psychology, College of Education, Hebei Normal University, Shijiazhuang 050024, China

通讯作者: 鲁忠义, E-mail:zhongyilu@126.com

收稿日期: 2018-09-20   网络出版日期: 2020-03-15

基金资助: * 国家自然科学基金资助项目(31271111)

Received: 2018-09-20   Online: 2020-03-15

摘要

人类在说话或思考的时候常常伴随着手势。手势是在认知加工或交流过程中自动产生的, 具有表征性, 同时, 手势能够影响人类的认知加工。尽管研究者对手势的概念界定各有侧重, 但普遍认为手势不同于直接行动, 具有认知功能。手势认知功能的代表性理论模型有词汇索引模型、信息打包假设、表象保持理论、语义特殊性假设和嵌入/延展观。根据手势认知功能研究中主要自变量的不同, 可以把手势认知功能分成三种不同的研究范式, 即允许-限制手势的研究范式、侧重手势模式改变的研究范式、侧重情境改变的研究范式。今后值得关注的研究方向除了深入探讨手势认知功能的神经机制、加强对手势认知功能的干预研究外, 提出了建立更具解释力的手势认知功能的理论模型——“空间化”手势假设。

关键词: 手势; 认知功能; 词汇索引; 信息打包; 具身认知

Abstract

Human beings often make gestures when talking or thinking. Gestures are generated automatically during cognitive processing or communication, and as representations, they in turn affect human cognitive processing. Although researchers have different emphasis on the concept of gestures, it is generally believed that gestures are different from direct actions and have internal and external cognitive functions. Seminal theoretical models include Lexical Index Model, Information Packing Hypothesis, Image Maintenance Theory, Semantic Specificity Hypothesis and Embodied/Extended Perspective. According to the main independent variables, the research paradigms fall into three categories, namely, allow-and-limit gestures, the change of gesture patterns, and changes of situation. In addition to in-depth study of the neural mechanism of cognitive functions of gestures and their intervention research, this paper proposes a theoretical model with more explanatory power - the "Spatializing" Gesture Hypothesis.

Keywords: gestures; cognitive function; lexical index; information package; embodied cognition

PDF (550KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

于文华, 鲁忠义. 手势认知功能研究的新视角:“空间化”手势假设. 心理科学进展, 2020, 28(3): 426-433 doi:10.3724/SP.J.1042.2020.00426

YU Wenhua, LU Zhongyi. A new perspective on the cognitive function of gestures: The “spatializing” gesture hypothesis. Advances in Psychological Science, 2020, 28(3): 426-433 doi:10.3724/SP.J.1042.2020.00426

1 引言

人类在说话或思考的时候常常伴随着手势。同单纯的手部运动不同, 手势是通过手部的形状或运动, 来描述人的行动、运动或事物的形状的, 这种描述基于手势形式和所指示对象的相似性(McNeill, 1985)。因此, 手势是具有表征性的。

许多研究证实, 手势能够影响人类的认知加工, 对语言表达(Goldin-Meadow, 2000; McGregor, Rohlfing, Bean, & Marschner 2009; Mol & Kita, 2012)、问题解决(Chu & Kita, 2015; Hostetter & Alibali, 2010; Alibali, Spencer, Knox, & Kita, 2011)、创造性思维(Beaudoin-Ryan & Goldin-Meadow, 2014; Leung et al., 2012; Kirk & Lewis, 2017)、学习(Novack, Congdon, Hemani-Lopez, & Goldin- Meadow, 2014)等均具有显著的影响作用。但是, 目前对于这种影响作用产生机制的研究结果却并不一致, 由此形成了关于手势的诸多理论模型。本文将重点综述手势认知功能的理论模型, 对手势认知功能的研究范式也进行梳理。

2 手势的概念界定

当前, 手势的概念界定仍然存在争论(McNeill, 1985; Gentner, 1982; Hostetter & Alibali, 2008)。例如, 一些研究从功能角度出发来对手势进行界定, 认为手势是自发的伴随语言的手部运动(McNeill, 1992), 是一种结构化的表征(Gentner, 1982), 它通过手部的形状或运动来描述行动、运动或形状(McNeill, 1985), 是抽象的、脱离了行动和实物的表征, 能够更加有力地影响思维和学习, 实现知识的一般化和转化(Novack & Goldin-Meadow, 2016)。另一些研究则从具身认知的角度出发, 认为手势是具身的一种表达方式(Hostetter & Alibali, 2008), 是认知系统延伸的物理工具, 给认知系统提供稳定的外部物理的和视觉的表征, 为思维提供手段。还有学者尝试通过实验界定什么条件下手部运动会被知觉为手势。研究发现, 当有目标物体呈现、手型呈抓握状、有语言伴随时的空手运动更容易被知觉为手势(Novack, Wakefield, & Goldin-Meadow, 2016)。虽然手势常常伴随着语言, 但是否伴随语言对于手势的识别而言并不是必须的, 环境线索和自上而下的加工可以实现这一点。环境线索主要包括:运动的内部线索(包括手型、路径、节奏、速度等)、运动的外部线索(包括是否呈现目标物体、已有的知识经验等)和交流线索(包括面部表情、注视、是否呈现倾听者等)。

Novack和Goldin-Meadow (2016)认为手势总体上可以分为表征性手势和非表征性手势两类。表征性手势又可以分为:描绘性手势(iconic gestures)、隐喻性手势(metaphoric gestures)、节拍性手势(beat gestures)和直证性手势(deictic gestures) (McNeill, 1992)。描绘性手势是指用手部和胳膊的运动来呈现具体物体或运动表象的手势。隐喻性手势是指利用空间来呈现抽象意义的手势。节拍性手势是指伴随语言的节律用来指示语言中重要单词的手部运动。直证性手势用来指出说话者周围目标的具体位置。Lhommet和Marsella (2014)将手势分为隐喻性手势、符号手势、描绘性手势、直证性手势四种类型。还有学者从语境的角度来定义描述性手势和隐喻性手势, 认为具体语境下的手势是描述性手势, 语言内容是抽象内容时的手势是隐喻性手势(Straube, Gree, Bromberger, & Kircher, 2011)。

然而, 尽管对于手势概念的界定各有侧重, 但仍然具有以下共识:

手势具有认知功能(Pouw, de Nooijer, van Gog, Zwaan, & Paas, 2014)。手势能够反映并影响个体的认知加工(Mol & Kita, 2012; Goldin-Meadow & Wagner, 2005), 对个体的语言表达、创造性思维、问题解决等认知活动具有显著影响。手势能增进听者的理解, 是交流双方感知运动信息的重要来源(Cook & Tanenhaus, 2009)。

第二, 手势不同于直接的行动。虽然很多研究证实行动产生的潜能或者行动产生的经验能够增加手势产生的频率(Pine, Gurne, & Fletcher, 2010; Hostetter & Alibali, 2010), 手势同目标性行动相类似, 当有目标物体时手部运动更容易被知觉为手势(Novack et al., 2016), 但是, 手势是不同于直接行动的。手势并不直接操纵物体, 是表征性的手部运动, 手势的目标是为了指示或表征其他的运动、物体甚至是抽象概念(Novack et al., 2016), 具有一半具体、一半抽象的特点(Novack et al., 2014)。手势不像直接的行动那样被具体的目标束缚, 而是强化了对于目标更丰富的内部表征, 在躯体运动和思考间建立了更强的联系, 是一种图式化的行动。手势对思考有比实际行动更强的影响, 因为手势能够比实际行动更强地影响问题解决者对问题的表征, 能更强地促进对空间运动信息的编码(Kita, Alibali, & Chu, 2017)。

3 手势认知功能的理论模型

为了探讨手势认知功能的心理机制, 研究者从不同的角度尝试做出解释, 由此形成了不同的理论模型。有代表性的有词汇索引模型、信息打包假设、表象保持理论、语义特殊性假设和嵌入/延展观。

3.1 词汇索引模型

词汇索引模型(lexical index model)认为手势涉及口语表面形式的整合, 说话者的手势能够增强词汇的激活, 促进语义的通达。手势和词汇的语义成分有共同特征, 能够促进词汇的选择或者跨通道的表征(Krauss, Chen, & Gottesman, 2000)。词汇索引模型下的手势研究主要针对伴随语言的手势, 关注手势对语言流畅性的影响, 认为限制使用手势时, 语言中会有更多的停顿、语速更慢、更不流畅, 还会有更多的舌尖效应现象。Buccino等(2001)研究发现, 当作出手势时, 大脑的布洛卡区也被激活(Buccino et al., 2001)。来自进化神经科学的证据表明, 手势与语言存在进化上的连续性, 猴脑的F5区和人脑的布洛卡区是同源的大脑区域(Arbib, 2005)。F5区负责手部和口部运动的视觉运动编码(Rizzolatti et al., 1988), 后部F5区(F5p)在产生和控制手部运动中起关键作用(Raos, Umilta, Murata, Fogassi, & Gallese, 2006; Umilta, Brochier, Spinks, & Lemon, 2007), 而布洛卡区是负责人类语言加工的主要脑区。这说明布洛卡区(F5区)可能同时性地控制着手势和单词发音。

3.2 信息打包假设

信息打包假设(information packaging hypothesis)认为手势在将空间运动信息打包为可以用语言表达的单元的过程中起作用。手势能够帮助提取场景中的相关特征, 然后打包成一个认知单元(Gentner, 1982)。研究发现, 越困难的信息打包, 激活越多的手势(Kita, de Condappa, & Mohr, 2007; Kita & Davies, 2009)。Özçalışkan (2016)采用英语和土耳其语被试进行的跨文化手势研究中, 在伴随语言的条件下, 两种语言的被试存在不同的手势模式。英语被试表现出合并的模式, 将方式和路径合并为一个手势, 而土耳其语被试表现出单独的模式, 用一个手势表示路径, 另一个手势表示方式, 且经常只有路径手势而无方式手势, 这同语言本身的特点是相吻合的。但在无语言伴随条件下, 两者都倾向于用一个手势同时性的表征路径和方式。这证明了当人类不利用语言传达运动事件时“自然语义组织”的存在。对运动事件的表达受到用有限的努力去传递综合性信息的需要驱动, 因此, 在手势中会倾向于将信息进行打包。Mol和Kita (2012)在研究中指导被试用同一个手势来表示方法和路径, 或者用不同的手势分别表示方法和路径, 并观察语言中方法和路径信息的打包情况。研究发现, 如果要求被试用一个手势来同时表征方式和路径, 他们也倾向于将这些信息用语言中的一个句子表达; 如果要求被试用单独的手势分别表达方式和路径, 他们也倾向于用单独的句子来分别表达方式和路径。说明人们做手势的方式影响了说话的方式, 符合信息打包假设。而且, 在两种手势条件下, 被试对方式词的使用高度相关, 说明不同的手势模式并未显著影响被试语言中的词汇选择, 手势并非通过词汇影响语言表达的。

3.3 表象保持理论

表象保持理论(image maintenance theory)认为, 手势能激活并保持说话者所存储的心理表象, 否则, 表象会迅速消退。

根据手势表象保持理论我们可以看到手势的作用。首先, 手势能够丰富听者的心理表象, 尤其是关于空间方面的心理表象。视觉实际上是以手部为中心的。当我们运动时, 看见自己的手和手的位置至关重要。如果接收到手部的错误视觉信息, 会损害我们做出指向特定目标的手部运动的能力, 手在表征运动朝向中占据中心地位(Loughlin, 2016), 限制手势时语言的表象性也会降低(Rimé, Schiaratura, Hupet, & Ghysselinckx, 1984)。其次, 手势是非常好的捕捉视觉和空间信息的工具, 特别适合用来描述空间关系, 比如:一座医院的位置、一个街区的布局等。语言内容同空间或视觉表象无关联时也会伴随手势, 是因为人们通过手部的运动和形状采用视觉和空间的形式去描述非空间的信息, 比如:解释数学等式2+3=5时的手势, 就是通过空间运动的形式传达数学关系(Wagner, Nusbaum, & Goldin-meadow, 2004)。因此, 手势虽然不是词汇提取所必须的, 但是可以通过表象来促进词汇的提取(Wesp, Hesse, Keutmann, & Wheaton, 2001)。

3.4 语义特殊性假设

人们在思考或者讲述关于运动的内容时, 相比其他内容会产生更多的手势。语义特殊性假设(The semantic specificity hypothesis)认为具体的、可描绘的、空间的、可操纵的语义成分会激发更高的手势率。Pine等人(2010)让被试进行物体描述任务, 通过对被试的语言和手势进行分析发现, 无论是否呈现倾听者, 被试对操作性强的目标的描述中有更多的描绘性手势, 语义中包含高空间运动成分会激活更多的手势。Chu和Kita (2015)的研究也得出了类似的结论。

3.5 嵌入/延展观

持嵌入/延展观(embedded/extended perspective)的研究者认为, 手势是认知系统延伸的物理工具, 为问题解决提供外部支持, 为思维提供手段。他们主要关注在问题解决中产生的手势, 发现当个体受到外部(高认知负荷、从环境中提取信息难度大等)或内部(低工作记忆能力)的限制时, 认知系统倾向于选择更容易获得的、外部支持的问题解决策略, 从而产生手势(Clark, 2008; Wheeler, 2013)。手势还可以促进分类。Sixtus, Fischer和Lindemann让被试根据照片做出指示数字的手势或者不指示数字的手势, 同时对听觉呈现的数字进行分类。只有做出指示数字的手势时才能促进被试对听觉呈现的数字的分类反应, 而做出非指示数字的手势时却无该效应(Sixtus, Fischer, & Lindemann, 2017)。

4 手势认知功能的研究范式

由于不同研究者对手势的概念界定各有侧重, 所采用的研究范式也不尽相同。根据手势认知功能研究中主要自变量的不同将已有研究范式分为以下三类:

4.1 允许-限制手势的研究范式

这是研究手势的认知功能最常采用的研究范式。研究者将被试随机分成两组, 一组鼓励或允许其使用手势, 另一组限制其使用手势, 让被试完成一定的认知任务, 以测量手势对任务完成的影响作用。Beaudoin-Ryan和Goldin-Meadow (2014)将五年级的学生随机分配到鼓励手势、不鼓励手势、控制组三种条件中, 完成柯尔伯格道德两难任务, 鼓励手势组被试的观点采择能力显著增强。让被试记忆一个路线, 一种条件下被试可以无声地用手势模拟路线, 另一种条件下, 被试只能观察, 两手中各握着一个球, 以限制被试的手势, 能够用手势模拟路线的被试对路线的回忆显著好于限制手势组被试(So, Ching, Lim, Cheng, & Lp, 2014)。Wagner等(2004)让被试在允许或限制手势条件下, 进行语言和视觉空间材料的记忆。允许手势比限制手势条件下被试对两种记忆材料都记住了更多的条目, 说明手势不仅能显著地促进语言工作记忆, 同样能够促进视觉空间工作记忆。此外, 是否允许使用手势还能影响问题解决中所依赖的信息类型和策略选择(Alibali et al., 2011)。

4.2 侧重手势模式改变的研究范式

这类研究范式往往通过考察不同的手势模式对认知活动的影响来研究手势的认知功能。Mumford和Kita (2013)尝试采用不同的手势教授3岁儿童表示状态转换或方式的新奇词汇。通过方式手势进行学习的儿童表现出更强的方式偏好, 说明特殊形式的手势指导着儿童对于新奇词汇的解释。Mol和Kit (2012)研究了不同手势模式对语言中句法结构的影响。还有学者研究了手指抓握或打开的动作对数值提取的影响(Grade, Badets, & Pesenti, 2016)。Leung等(2012)的研究中让被试说出教学楼的新奇用法, 同时进行一个演讲研究(要求被试手心向上伸出一侧的手和胳膊)。实验分为两个trial, 被试回答的问题相同(但被试提前并不知情)。实验组被试在trial间交换左右手的位置(右手向上伸出, 左手背在身后/左手向上伸出, 右手背在身后), 而控制组被试两个trail的手部姿势相同。交换左右手位置能够提高被试发散思维的流畅性、灵活性和独创性。Novack等人(2014)研究了具体手势和抽象手势对学习的影响作用, 发现相比具体手势, 教学中使用抽象手势更能促进对知识的概括化学习。

4.3 侧重情境改变的研究范式

这种研究范式侧重于考察任务难度、交流背景、文化差异等背景因素的改变对手势选择的影响。当被试学习较为复杂的科学系统图表, 并将其解释给专家或者新手时, 被试对新手进行的解释伴有更多描述性手势, 而对专家解释时则伴有更多直证性手势, 且对新手解释时比向专家解释打包了更多的信息, 尝试通过多种途径传达信息(Kang, Tversky, & Black, 2015)。还有研究侧重于任务难度同手势之间的关系(Chu & Kita, 2008, 2011; Kita et al., 2007; Kita & Davies, 2009; Hostetter & Alibali, 2010), 发现任务越困难, 手势越多。Chu和Kita (2015)研究了心理旋转任务和运动事件描述任务中目标的可操作性不同对手势的影响, 目标可操作性强组被试的手势频率显著高于目标可操作性弱组被试, 同Pine等人(2010)的研究结果一致。

5 总结与展望

5.1 对已有理论及研究的总结

研究者已经尝试从不同角度建立理论模型对手势认知功能的产生和作用机制进行解释, 但是, 这些模型都往往只能解释某种或者部分手势类型影响认知的作用机制, 而无法从更广的维度上做出有力的解释。

5.1.1 对手势认知功能的解释力较低

已有的理论和研究更多关注手势的交流功能, 如手势对交流的促进、对语言的影响、对感知运动信息交流的促进等。

词汇索引模型关注手势在语义通达中的作用, 部分的解释了手势同语言流畅性之间的关系, 说明了手势同语言之间存在某种程度的相关, 但无法有效地解释手势在语言结构、语法特征等更复杂层面的作用发挥机制, 也无法有效解释手势在非言语任务中作用发挥的机理。信息打包假设认为手势将空间运动信息打包成适合语言表达的认知单元, 降低了认知负荷。该假设框架下的研究方法更多关注的是手势模式同语言表达的关系, 虽然关注的单元较词汇更大, 但对如何打包信息、非空间运动信息的打包等关键问题未能做出清晰明确的解释。表象保持理论主要关注手势在提升工作记忆中所加工信息的表象性及表象保持的时间上的重要作用, 却对其他认知过程和认知活动中手势功能的发挥缺乏有力的解释。语义特殊性假设关注到了空间的、可操纵的语义成分同更高的手势率之间的相关, 且认为是特殊的语义成分单向性的激活了手势。该理论无法有效地解释手势对语言表达、问题解决、创造思维、学习等的影响作用。嵌入/延展观认为手势是认知系统的外部物理延展, 同空间位置存在内隐联结。该理论具有一定的合理性, 但其框架下的研究更多关注手势的具身性, 对手势的认知功能及其如何实现关注不足。

Kita等(2017)在对手势相关研究进行综述的文章中尝试建立一个新的理论框架——手势概念化假设(gestures-fore-conceptualization hypothesis)。该假设解释了手势的自我指向功能, 认为手势通过激活、操纵、打包、探索空间运动信息四条路径影响认知加工。但该理论只关注了手势的表征性和手势的自我指向功能, 且尚缺乏实验研究提供的支持性证据。

从手势认知功能的研究范式来看, 允许-限制手势的研究范式主要研究有无手势和自发性手势对认知活动的影响, 侧重手势模式改变的研究范式主要考察不同模式的手势, 如手型、方位、路径等对认知活动的影响。侧重情境改变的研究范式则将手势作为因变量, 研究任务难度、交流背景、文化差异等对手势选择的影响。而且, 已有的研究范式大多为行为研究范式, 能够从不同侧面揭示手势对语言及其他认知活动的影响, 但无法对手势认知功能的内部认知神经结构和作用机制进行更为深入的分析和研究。

5.1.2 对隐喻性手势具身性的研究有待深入

几十年来, 心理学家围绕语言理解的具身性进行了大量研究。其中不仅有在语言理解过程中感知参与的研究(如, Kaup, Yaxley, Madden, Zwaan, & Lüdtke, 2007; Connell, 2007; 张盼, 鲁忠义, 2013), 更有众多的实验证据表明语言理解中还有动作特别是手部动作的激活和模拟。如动词的“推拉”, Glenberg和Kaschak (2002)的研究发现, 阅读“关上抽屉”时被试对远离身体的目标反应更快, 而“拉开抽屉”则对趋近身体的目标反应更快。再如动词的旋转, 被试听到“拧紧螺丝”的句子时, 顺时针旋转方向的动作更快(Zwaan & Taylor, 2006)。还有Tucker和Ellis (2001)的研究, 他们发现在对大小不同的物体如“钥匙”和“土豆”做是不是自然物的判断时, 对细小的物体被试精细的“捏”的动作被激活, 而对大的物体激活的则是满把“握”的大动作。这些研究比起传统的语言理解研究来是个进步, 正如Glenberg和Gallese (2012)的文章中所说, 语言符号通过感知、运动和情绪系统而变得更有意义。

从以往的这些研究可以看到两点:一是语言理解的具身研究主要关注的是具体概念而且是它的本义; 二是在语言理解中手部做出的是一种简单的具身反应或动作。相对而言, 抽象概念, 特别是隐喻概念的具身认知研究显得不够系统和深入, 因此, 今后的研究从具体概念的本义扩展到抽象概念的喻义, 将含有手部具体动作的手势扩展到一种表征性语言的手势, 势必会把语言理解的具身研究推向深入。

隐喻性手势能够利用空间呈现抽象意义。比如, 表达“抓住一个灵感”时伴随的手势通常是杯状手型或者好像手里握着什么东西, 手势就好像一个容器, 这是管道隐喻(conduit metaphor)手势。管道隐喻手势还可以通过将其代表的概念放入空间中来说明几个概念之间的关系(Hasegawa et al., 2015)。相较于其他类型而言, 隐喻性手势因其同抽象概念和语义表征的紧密联系对研究手势认知功能, 尤其是高级的认知功能有更为重要的意义和价值。已有研究者从具身认知角度出发, 证实了手势同空间位置的联结, 发现食指同上部(top)、拇指同下部(bottom)的内隐性概念联结(Romano, Marini, & Maravita, 2017)。同时, 手指抓握动作还能够影响被试在数字提取任务中提取数值的大小, 抓握时提取的数值小, 手指打开时提取的数值大(Grade et al., 2016)。然而, 目前关于隐喻性手势具身性的研究还不够系统和深入, 缺乏对隐喻性手势具身性的理论模型、神经机制、干预等方面的深入研究。

5.2 对未来研究的展望

5.2.1 建立具有更强解释力的手势认知功能的理论模型

通过对已有的关于手势认知功能的理论和实验研究进行综合分析发现, 手势能够激活并保持空间表象, 促进对空间运动信息的通达和交流, 实现对非空间信息的“空间化”, 进而易化知觉策略的选择。因此, 从具身认知角度出发, 针对隐喻性手势的认知功能, 我们提出了“空间化”手势假设。

“空间化”手势假设的基本内涵是抽象概念的理解根植于手部在空间的感知运动, 以手部的手型、路径、位置等凸显、强调并组织空间运动信息, 有效地将非空间运动信息转换为空间运动信息, 提高信息的视觉或动觉表征, 降低认知负荷, 促进问题的解决。比如:用两只手分别代表解决问题的一种可能性和另一种可能性能促进对问题的多元表征, 从手心朝上转换为手背朝上能够促进对观点的反方向思考。因此, 从具身认知的理论看, 手势反映的是身体的感觉和运动信息的编码。根据我们提出的手势空间化假设, 人类在思考或者谈论关于感知、表象、情境时会根据不同的交流意图, 将时间、因果、道德、情绪等主要隐喻的抽象特征都映射到具体的物理特征上, 进而形成手势。

这种映射机制主要分为两种:一种是列举, 一种是对比(Lhommet & Marsella, 2014)。列举是将对象利用手势依次描述出来。比如:用右手食指依次点数左手的食指、中指、无名指和小拇指来代表事物的四个方面。对比可以视为轴线隐喻, 通过将每个对象变为一个基于轴线上不同位置的刻度值(scalar value)来显示两个或多个对象之间的差异。轴线又可以分为水平轴线、垂直轴线和前后轴线。水平轴线和前后轴线大多表示时间隐喻。使用水平轴线时大多主体未投入其中, 对右利手个体而言左侧一般表示过去, 中间表示现在, 右侧表示未来。使用前后轴线时主体参与其中, 一般主体的前方表示未来, 后方表示过去。垂直轴线是指利用手势的垂直空间位置来映射抽象概念, 比如多的在上, 少的在下; 道德在上, 不道德在下; 积极情绪在上, 消极情绪在下等。通过从抽象特征向具体特征的映射, 手势一方面促进对空间运动信息的激活(So et al., 2014; Hostetter & Alibali, 2008, 2010; )、保持(Romano et al., 2017)和交流(Buccino et al., 2001; Cook & Tanenhaus, 2009; Pine et al., 2010; Mol & Kita, 2012; Chu & Kita, 2015), 易化空间运动信息的表征; 另一方面促进对非空间运动信息的“空间化”, 实现对非空间运动信息更有效的通达(Alibali et al., 2011; Goodrich & Hudson, 2009; Goldin-Meadow, Nusbaum, Kelly, & Wagner, 2001; Grade et al., 2016; Sixtus et al., 2017)、打包(Kita et al., 2007; Kita & Davies, 2009; Gentner, 1982)和组织(Beaudoin-Ryan & Goldin-Meadow, 2014; Chu & Kita, 2008, 2011; Kirk & Lewis, 2017; Leung et al., 2012)。总之, 通过手势降低了知觉负荷, 易化了信息加工。

该假设具有较强的解释力, 但它是建立在对已有研究的综述和理论设想基础上的, 下一步我们要进行这方面的实验研究, 以得到更为有力的实验证据的支持。

5.2.2 深入探讨手势认知功能的神经机制

现有的关于手势认知功能的研究大多数都是通过行为实验进行的, 个别研究者尝试采用功能核磁共振成像(fMRI)来考察手势认知功能背后的生理机制(Goldin-Meadow et al., 2001; Buccino et al., 2001), 但研究数量较少。而且, 现有研究大多采用离线分析的方式, 导致对手势认知功能的分析和研究时间分辨力较低, 也使研究结果的信效度大打折扣。因此, 未来的研究应当采用功能性核磁共振成像、事件相关电位等技术进一步实时地探讨手势认知功能的神经机制。

5.2.3 加强对手势认知功能的干预研究

手势伴随着人类说话和思考的过程, 通过手势实现了知识的一般化和转化。手势具有强大的认知功能。相较于实际行动而言, 手势更能够有力地促进人类的认知和思维(Novack et al., 2016; Kita et al., 2017)。大量研究证实手势能够影响人类的认知加工, 甚至对诸如问题解决(Chu & Kita, 2015; Hostetter & Alibali, 2010; Alibali et al., 2011)、创造性思维(Beaudoin-Ryan & Goldin- Meadow, 2014; Leung et al., 2012; Kirk & Lewis, 2017)也有显著性的影响。然而, 目前的研究大都还停留在基础研究的阶段, 关于利用手势促进人类学习(Novack et al., 2014)、思维和创造性的干预研究还非常少, 这极大地影响了手势认知功能的有效发挥。今后, 应当注重和加强对于手势认知功能的干预研究, 根据已有的研究结果, 设计同手势相关的干预方案, 以进一步提高手势模式的应用价值。

参考文献

张盼, 鲁忠义 . (2013).

句子理解中颜色信息的心理表征

心理学报, 45(4), 406-415.

[本文引用: 1]

Alibali M. W., Spencer R. C., Knox L., & Kita S . (2011).

Spontaneous gestures influence strategy choices in problem solving

Psychological Science, 22(9), 1138-1144.

[本文引用: 4]

Arbib M. A . (2005).

From monkey-like action recognition to human language: an evolutionary framework for neurolinguistics

Behavioral and Brain Sciences, 28(2), 105-124.

[本文引用: 1]

Beaudoin-Ryan L., & Goldin-Meadow S . (2014).

Teaching moral reasoning through gesture

Developmental Science, 17(6), 984-990.

[本文引用: 4]

Buccino G., Binkofski F., Fink G. R., Fadiga L., Fogassi L., & Gallese V., ... Freund H. J . (2001).

Action observation activates premotor and parietal areas in a somatotopic manner: An fMRI study

European Journal of Neuroscience, 13(2), 400-404.

[本文引用: 4]

Chu M. Y., & Kita S . (2008).

Spontaneous gestures during mental rotation tasks: Insights into the microdevelopment of the motor strategy

Journal of Experimental Psychology: General, 137(4), 706-723.

[本文引用: 2]

Chu M. Y., & Kita S . (2011).

The nature of gestures' beneficial role in spatial problem solving

Journal of Experimental Psychology General, 140(1), 102-116.

[本文引用: 2]

Chu M. Y., & Kita S . (2015).

Co-thought and co-speech gestures are generated by the same action generation process

Journal of Experimental Psychology Learning Memory & Cognition, 42(2), 257-270.

[本文引用: 5]

Clark A . (2008). Supersizing the Mind: Embodiment, Action, and Cognitive Extension New York, NY: Oxford University Press.

[本文引用: 1]

Connell L . (2007).

Representing object colour in language comprehension

Cognition, 102(3), 476-485.

[本文引用: 1]

Cook S. W., & Tanenhaus M. K . (2009).

Embodied communication: speakers' gestures affect listeners' actions

Cognition, 113(1), 98-104.

[本文引用: 2]

Gentner D . (1982).

Why nouns are learned before verbs: Linguistic relativity versus natural partitioning. technical report no. 257

Child Language, 2, 86.

[本文引用: 4]

Glenberg A. M., & Gallese V . (2012).

Action-based Language: A theory of language acquisition, comprehension, and production

Cortex, 48(7), 905-922.

[本文引用: 1]

Glenberg A. M., & Kaschak M. P . (2002).

Grounding language in action

Psychonomic Bulletin & Review, 9(3), 558-565.

[本文引用: 1]

Goldin-meadow S . (2000).

Beyond words: the importance of gesture to researchers and learners

Child Development, 71(1), 231-239.

[本文引用: 2]

Goldin-Meadow S., Nusbaum H., Kelly S. D., & Wagner S . (2001).

Explaining math: gesturing lightens the load

Psychological Science, 12(6), 516-522.

[本文引用: 1]

Goldin-Meadow S., & Wagner S. M . (2005).

How our hands help us learn

Trends in Cognitive Sciences, 9(5), 234-241.

[本文引用: 1]

Goodrich W., & Hudson Kam, C. L . (2009).

Co-speech gesture as input in verb learning

Developmental Science, 12(1), 81-87.

[本文引用: 1]

Grade S., Badets A., & Pesenti M . (2016).

Influence of finger and mouth action observation on random number generation: an instance of embodied cognition for abstract concepts

Psychological Research, 81(3), 538-548.

[本文引用: 3]

Hasegawa D., Shirakawa S., Shioiri N., Hanawa T., Sakuta H., & Ohara K . (2015).

The effect of metaphoric gestures on schematic understanding of instruction performed by a pedagogical conversational agent

Lecture Notes in Computer Science, 361-371.

[本文引用: 1]

Hostetter A. B., & Alibali M. W . (2008).

Visible embodiment: Gestures as simulated action

Psychonomic Bulletin & Review, 15(3), 495-514.

[本文引用: 3]

Hostetter A. B., & Alibali M. W . (2010).

Language, gesture, action! A test of the gesture as simulated action framework

Journal of Memory & Language, 63(2), 245-257.

[本文引用: 5]

Kang S., Tversky B., & Black J. B . (2015).

Coordinating gesture, word, and diagram: Explanations for experts and novices

Spatial Cognition & Computation, 15(1), 1-26.

[本文引用: 1]

Kaup B., Yaxley R. H., Madden C. J., Zwaan R. A., & Lüdtke J . (2007).

Experiential simulations of negated text information

Quarterly Journal of Experimental Psychology, 60(7), 976-990.

[本文引用: 1]

Kirk E., & Lewis C . (2017).

Gesture facilitates children's creative thinking

Psychological Science, 28(2), 225-232.

[本文引用: 3]

Kita S., Alibali M. W., & Chu M. Y . (2017).

How do gestures influence thinking and speaking? The gesture-for- conceptualization hypothesis

Psychological Review, 124(3), 245-266.

[本文引用: 3]

Kita S., & Davies T. S . (2009).

Competing conceptual representations trigger co-speech representational gestures

Language & Cognitive Processes, 24(5), 761-775.

[本文引用: 3]

Kita S., de Condappa O., & Mohr C . (2007).

Metaphor explanation attenuates the right-hand preference for depictive co-speech gestures that imitate actions

Brain & Language, 101(3), 185-197.

[本文引用: 3]

Krauss R. M., Chen Y., & Gottesman R. F . (2000).

Lexical gestures and lexical access: A process model

In D. McNeill (Ed.), Language and gesture (pp.261-283). Britain: Cambridge University Press.

[本文引用: 2]

Leung A. K.-Y., Kim S., Polman E., Ong L. S., Qiu L., Goncalo J. A., & Sanchez-Burks J . (2012).

Embodied metaphors and creative "acts"

Psychological Science, 23(5), 502-509.

[本文引用: 3]

Lhommet M., & Marsella S . (2014).

Metaphoric gestures: Towards grounded mental spaces

14th International Conference on Intelligent Virtual Agents Conference. Berlin, Germany: Springer International Publishing.

[本文引用: 2]

Loughlin V . (2016).

Zdravko radman, the hand: an organ of the mind, what the manual tells the mental

Phenomenology & the Cognitive Sciences, 15(2), 291-296.

[本文引用: 1]

Mcgregor K. K., Rohlfing K. J., Bean A., & Marschner E . (2009).

Gesture as a support for word learning: The case of under

Journal of Child Language, 36(4), 807-828.

[本文引用: 1]

Mcneill D . (1985).

So you think gestures are nonverbal?

Psychological Review, 92(3), 350-371.

[本文引用: 3]

Mcneill D . (1992). Hand and mind: What gestures reveal about thought Chicago: University of Chicago Press.

[本文引用: 2]

Mol L., & Kita S . (2012).

Gesture structure affects syntactic structure in speech

Cognitive Science Society, 34(34), 761-766.

[本文引用: 5]

Mumford K. H., & Kita S . (2013).

Children use gesture to interpret novel verb meanings

Child Development, 85(3), 1181-1189.

[本文引用: 2]

Novack M. A., Congdon E. L., Hemani-Lopez N., & Goldin- Meadow S . (2014).

From action to abstraction: using the hands to learn math

Psychological Science, 25(4), 903-910.

[本文引用: 3]

Novack M. A., & Goldin-Meadow S . (2016).

Gesture as representational action: A paper about function

Psychonomic Bulletin & Review, 24(3), 1-14.

[本文引用: 2]

Novack M. A., Wakefield E. M., & Goldin-Meadow S . (2016).

What makes a movement a gesture?

Cognition, 146, 339-348.

[本文引用: 4]

Özçalışkan S., Lucero C., & Goldin-meadow S . (2016).

Does language shape silent gesture?

Cognition, 148, 10-18.

[本文引用: 1]

Pine K. J., Gurney D. J., & Fletcher B . (2010).

The semantic specificity hypothesis: when gestures do not depend upon the presence of a listener

Journal of Nonverbal Behavior, 34(3), 169-178.

[本文引用: 4]

Pouw W. T. J. L., de Nooijer J. A., van Gog T., Zwaan R. A., & Paas F . (2014).

Toward a more embedded/extended perspective on the cognitive function of gestures

Frontiers in Psychology, 5(5), 1-14.

[本文引用: 1]

Raos V., Umilta M-A., Murata A., Fogassi L., & Gallese V . (2006).

Functional properties of grasping-related neurons in the ventral premotor area F5 of the macaque monkey

Journal of Neurophysiology, 95(2), 709-729.

[本文引用: 1]

Rimé B., Schiaratura L., Hupet M., & Ghysselinckx A., . (1984).

Effects of relative immobilization on the speaker’s nonverbal behavior and on the dialogue imagery level

Motivation & Emotion, 8(4), 311-325.

[本文引用: 1]

Rizzolatti G., Camarda R., Fogassi M., Gentilucci M., Luppino G., Matelli M . (1988).

Functional organization of inferior area 6 in the macaque monkey: II. Area F5 and the control of distal movements

Experimental Brain Research, 71(3), 491-507.

[本文引用: 1]

Romano D., Marini F., & Maravita A . (2017).

Standard body-space relationships: Fingers hold spatial information

Cognition, 165, 105-112.

[本文引用: 2]

Sixtus E., Fischer M. H., & Lindemann O . (2017).

Finger posing primes number comprehension

Cognitive Processing, 18(3), 237-248.

[本文引用: 2]

So W. C., Ching T. H.-W., Lim P. E., Cheng X. Q., & Lp K. Y . (2014).

Producing gestures facilitates route learning

Plos One, 9(11), e112543.

[本文引用: 2]

Straube B., Green A., Bromberger B., & Kircher T . (2011).

The differentiation of iconic and metaphoric gestures: Common and unique integration processes

Human Brain Mapping, 32(4), 520-533.

[本文引用: 1]

Tucker M., & Ellis R . (2001).

The potentiation of grasp types during visual object categorization

Visual Cognition, 8(6), 769-800.

[本文引用: 1]

Umilta M. A., Brochier T., Spinks R. L., Lemon R. N . (2007).

Simultaneous recording of macaque premotor and primary motor cortex neuronal populations reveals different functional contributions to visuomotor grasp

Journal of Neurophysiology, 98(1), 488-501

[本文引用: 1]

Wagner S. M., Nusbaum H., & Goldin-meadow S . (2004).

Probing the mental representation of gesture: Is handwaving spatial?

Journal of Memory & Language, 50(4), 395-407

[本文引用: 2]

Wesp R., Hesse J., Keutmann D., & Wheaton K . (2001).

Gestures maintain spatial imagery

American Journal of Psychology, 114(4), 591-600.

[本文引用: 1]

Wheeler M . (2013).

Is cognition embedded or extended?

The case of gestures. In Z. Radman (Ed.), The hand, an organ of the mind: What the manual tells the mental (pp. 269-301). Cambridge, Britain: MIT Press.

[本文引用: 1]

Zwaan R. A., & Taylor L. J . (2006).

Seeing, acting, understanding: Motor resonance in language comprehension

Journal of Experimental Psychology: General, 135(1), 1-11.

[本文引用: 1]

/


版权所有 © 《心理科学进展》编辑部
地址:北京市朝阳区林萃路16号院 
邮编:100101 
电话:010-64850861 
E-mail:jinzhan@psych.ac.cn
备案编号:京ICP备10049795号-1 京公网安备110402500018号

本系统由北京玛格泰克科技发展有限公司设计开发