Emoji图像符号的社交功能及应用
Emoji image symbol’s social function and application
通讯作者: 安俊秀, E-mail:anjunxiu@cuit.edu.cn
收稿日期: 2021-07-12
| 基金资助: |
|
Received: 2021-07-12
Emoji是一种从最初模仿挪用日式动漫符号, 到后来日益扩展其使用范围的图像符号体系。自从1999年Shegetaka Kurita创造Emoji以来, Emoji不断获得充实和发展, 目前已成为数字交流中代替肢体动作、面部表情等非语言线索的主要形式, 并成为全球普遍使用的交流工具。Emoji本身具有有趣、形象、生动和幽默等特点, 在网络交流中具有表达情感、加强表达、改变语气、维持或增进人际关系等功能。同时, 其使用会受到性别、文化、语境和平台等因素的影响。目前, 随着Emoji的不断发展和广泛使用, 其应用范围已经扩展至网络交流之外的心理测量、商业营销、法律判决以及情感分析等领域, 具有广泛的应用和研究价值。未来可以从以下几个方面进一步深入研究:(1)进一步探索Emoji在网络交流中的应用和未来发展趋势; (2)加大对Emoji在其他领域中应用情况的进一步研究; (3)更加深入探索Emoji的神经生理机制; (4)从认知加工角度来探讨Emoji在网络交流中的积极效果。
关键词:
Nowadays, with the rapid development of the Internet, online communication has become increasingly popular and popular. However, due to the lack of nonverbal cues in face-to-face communication, it is difficult for people to detect the emotional state of each other, which hinders normal communication. Emoji, which compensate for nonverbal cues in online communication, have been introduced into cyberspace to compensate for the absence of gestures and facial attributes in online communication, and have been developing constantly. The development of Emojis has gone through Emoticon composed of ASCII characters, Emoji of pictographic icons and now emerging more vivid and interesting stickers. This paper will mainly comb, analyze and summarize the functions, influencing factors and interaction mechanisms of Emoji in network communication, as well as the current application of Emoji in different fields, and put forward the future research direction of Emoji based on the current research status of Emoji.
At the beginning, Emoji is borrowed from Japanese animation symbols, and gradually developed into a widely used image symbol system. Since the creation of Emoji by Shigetaka Kurita in 1999, it has been enriched and developed continuously At present, Emoji has become a tool commonly used around the world to replace non-verbal cues such as body gestures and facial expressions in digital communication. In the process of continuous use in Internet communication, Emoji has been equipped with many functions, including expressing emotions, enhancing expression, changing tone, maintaining or enhancing interpersonal relationship, etc. At the same time, the use of Emoji is also affected by many factors, including age, gender, culture, context and platform. In addition, we also explore the interactive mechanism of Emoji in online communication from the perspective of symbol interaction theory, so as to clearly reveal the specific interaction process of people in online communication through Emoji.
At present, with the continuous development and widespread use of Emoji, its application scope has been extended to many other fields besides Internet communication. In the field of sentiment analysis, Emoji has become an important object of sentiment analysis due to its rich emotions. In psychometrics, Emoji has been developed into a nonverbal tool for evaluating personality and depression which has the same reliability and validity as text items. In the field of commercial marketing, Emoji has begun to play a role in advertising marketing and attracting consumers, and can measure consumers' food-related emotions in the form of questionnaires. In the field of legal judgment, Emoji has gradually become a powerful evidence in judicial trials due to its widespread use. Through the above analysis and summary, we put forward the future research direction of Emoji from the following aspects: (1) explore the application and future development trend of Emoji in online communication; (2) study on the application of Emoji in other fields; (3) further explore the neurophysiological mechanism of Emoji; (4) discuss the positive effect of Emoji in online communication from the perspective of cognitive processing.
Keywords:
本文引用格式
靳宇倡, 邓成龙, 吴平, 林茜, 郑佩璇, 安俊秀.
JIN Yuchang, DENG Chenglong, WU Ping, LIN Xi, ZHENG Peixuan, AN Junxiu.
1 引言
在日常面对面的言语交流中, 我们经常会使用各种肢体语言、面部表情以及语气声调等非语言线索来更好地表达我们的情绪情感(Chen et al., 2017), 如开心、生气、幽默、怀疑和讽刺等。然而, 随着互联网的迅猛发展, 在线交流变得日益流行和普及, 但由于缺乏面对面交流中的非语言线索, 使得人们很难觉察到对方的情感状态, 这会阻碍人们的正常交流(Perry & Werner-Wilson, 2011)。而表情符号正好能够弥补在线交流中的非语言线索, 于是开始被引入网络空间, 并不断获得发展(Jibril & Abdullah, 2013)。在谈Emoji之前, 不得不先介绍一下Emoticon。Emoticon是一种由ASCII字符组合而成的表情符号, 需要从侧面进行观看(Amaghlobeli, 2012), 如代表悲伤的“:-(”。人们普遍认为卡内基梅隆大学计算机科学学院的斯科特·法尔曼(Scott Fahlman)在1982年创造了第一个笑脸Emoticon表情符号, 即“:-)” (Kim, 2017)。随后, 越来越多的Emoticon表情符号如雨后春笋般蜂拥而出, 并逐渐成为网络交流中主要的非语言线索(Herring & Dainas, 2017)。而Emoji可以被认为是基于Emoticon的演变, 目前它代表着一种广泛而普遍的全球交流工具, 几乎被所有社交媒体服务和即时通讯平台所采用(Barbieri et al., 2018)。Emoji在日语中的意思是“图片信息”, 从日语的“e” (图片)和“moji” (字母、字符)演变而来, 最初是由日本的栗田穣崇(Shigetaka Kurita)在1999年为日本电信公司NTT DoCoMo开发设计的, 当时总共设计了176个Emoji (Prisco, 2018)。Emoji的普及在一定程度上得益于统一码联盟(Unicode Consortium), 该联盟为Emoji提供了一种全球文本编码标准, 就像它为传统字符(如字母、数字、汉字)提供的编码标准一样, 使得每个Emoji都有着自己独一无二的代码和相应的语言描述(Miller et al., 2017), 例如:代码“U+1F606”代表“
”, 官方解释为“咧开嘴、闭眼笑的脸”。2010年统一码联盟推出的首个标准化的版本为Emoji 6.0, 总共由722个Emoji组成(Emojipedia, 2021a)。2011年至2013年, 苹果、谷歌、微软和三星等主要手机制造商开始在其设备操作系统中支持Emoji的使用(Wijeratne et al., 2017), 这进一步推动了Emoji在全世界范围的传播。2013年, Emojipedia (
” (喜极而泣)被牛津英语词典(OED)评为年度词汇(Santos et al., 2020), 值得注意的是, 这是牛津英语词典首次将非文字类的表情符号评选为年度词汇, 引发了大家的激烈讨论, 这也足以说明Emoji在网络交流中的极大影响力。统一码联盟每年都会对Emoji进行更新, 截至2020年10月, Emoji已更新至Emoji 13.1版, 共有3521个Emoji (Emojipedia, 2021b)。Emoji 14.0预计将在2022年发布, 随后此版本中添加的新的Emoji预计将逐步更新到主要的社交网络平台上(Emojipedia, 2021c)。
Emoji不仅有面部表情, 还包括各种抽象的概念和想法、身体部位和手势动作、动植物、生活用品、以及活动等(Novak et al., 2015)。它可以单独使用, 也可以和文本一起嵌入在短信、电子邮件、帖子和其他媒体中使用。尽管Emoticon和Emoji在某些方面类似, 但作为象形图而不是标点符号的组合, Emoji显然更丰富、更生动、更有趣、且更具表现力(Pavalanathan & Eisenstein, 2016)。有相当多的证据表明, Emoji在流行度和使用上已经取代了Emoticon。Emoji作为新一代表情符号, 比Emoticon有更多的功能(Herring & Dainas, 2017)、使用方式更加灵活多样(Novak et al., 2015)、在社交媒体上的使用频率也更高(Prada et al., 2018)。Pavalanathan和Eisenstein (2016)发现, Twitter于2014年3月引入Emoji后的17个月里, Emoji的使用量明显增加, 而Emoticon的使用量却大幅减少。Herring和Dainas (2017)通过对比发现, Emoticon和Emoji在Facebook中大多表达的是相同的功能, 然而Emoji的使用频率却远远高于Emoticon (69% vs 12%)。这都说明Emoji正在取代Emoticon, 成为在线交流中的主流非语言形式。
那么, 网络交流中的Emoji具有哪些功能, 影响Emoji使用的因素有哪些?Emoji在网络交流中的互动机制是什么?除了在网络交流中的应用, Emoji在其他领域的应用情况又如何?现在对Emoji的研究中还有哪些不足?未来研究的方向又有哪些?目前, Emoji作为诸多领域的研究热点, 全方位地回顾和总结Emoji在各个领域的研究现状是必要的。在本文中, 我们对Emoji在网络交流中的作用、影响因素和互动机制、Emoji目前在不同领域的应用情况作了梳理、分析和总结, 并在Emoji研究现状的基础上, 提出了未来有关Emoji的研究方向。
2 在网络交流中的Emoji
人们主要通过社交媒体在网络上进行交流, 而由于网络交流中缺乏面对面的互动, 使得沟通双方缺乏反馈, 从而影响着人们交流的质量。在缺乏信息反馈以及非语言线索的情况下, 会使人与人之间的沟通产生障碍(Aldunate & González- Ibáñez, 2017)。而Emoji等视觉语言的出现弥补了纯文本交流的部分缺陷(Kaye et al., 2016), 且已经主导了互联网用户在社交媒体上的交流(Arafah & Hasyim, 2019)。Emoji作为表情符号的一种, 由于其具有表达情感和减少潜在的话语歧义等特点(Kaye et al., 2016), 在如今的网络交流中被广泛用于传递视觉信息。研究表明, Emoji在社交媒体中的使用已经占到总体表情符号的49%, 已逐渐成为网络交流中主导的视觉线索(Arafah & Hasyim, 2019), 并成为网络中不可或缺的情感交流工具。
2.1 Emoji在网络交流中的作用
通过对现有研究的梳理, 我们发现Emoji在网络交流中的作用主要体现在表达情感、言语功能、维持或促进人际关系等方面。
2.1.1 表达情感
在网络交流中, 由于缺乏面部表情的提示, 信息接收者可能无法接收到足够的信息, 从而无法正确理解交流内容, 故需要其他工具来辅助交流。与面对面交流中的非语言线索一样, Emoji有助于在模棱两可的语境中阐明意图(Tigwell & Flatla, 2016)。在网络交流中, Emoji可以发挥与面部表情相似的作用, 用于情感表达的同时可以提高沟通效率。在有限的沟通渠道下, Emoji可以为人们提供一种高效、便捷的方式, 来表达他们的感受和情绪情感变化。Emoji可以分为面部表情和非面部表情两类。其中, 面部表情形式的Emoji就如其设计之初的目的一样, 是一种拟人化的情感表达工具, 它替代了面对面交流中原有的非语言线索。已有研究表明, Emoji提供的线索有助于个体表达特定的情感状态, 并强化沟通信息中所蕴含的情感内容(Kaye et al., 2016)。非面部表情形式的Emoji对于交流中的情感表达也有着重要作用, 它们同面部表情形式一样可以表达情感, 尤其体现在表达兴奋(Kelly & Watts, 2015)和缓解消极情绪方面(Sugiyama, 2015), 同时它们也可以通过非正式的形式来展现积极的情绪。尽管面部表情和非面部表情的Emoji都能表达情感(Riordan, 2017), 但面部表情Emoji的表达效果优于非面部表情(Jaeger et al., 2019)。Emoji中面部表情的使用, 模拟了面对面交流中双方表情的展现; 而非面部表情符号的使用, 则调节了沟通的气氛。总的来说, Emoji为网络交流提供了额外的情感线索, 从而使沟通双方在交流中的情感信息得到了正确传达。
2.1.2 交流中的语言功能
如今, 用户在网络交流中最常使用语言和非语言形式(如, Emoji)的组合来表达情感和传达语义。从语言学角度来看, Emoji不仅是一种传达情感和思想的视觉线索, 而且已经成为句子结构的一部分(Arafah & Hasyim, 2019)。语言学学者曾经提出了一种符号学模型, 其认为语言符号都包括句法、语义和语用三大语言功能(Morris, 1967)。Emoji作为网络交流中的一种语言系统, 相应地也具有这三种语言功能。Emoji的句法功能是指, Emoji可以作为句子的一部分, 在网络交流中成为构成句子的元素, 它可以位于句子的开头、中间和结尾(Arafah & Hasyim, 2019)。当然, Emoji最常用于句子的结尾, 起着修饰语句的作用(Sakai, 2013)。例如一项关于Emoji在句子中使用位置的统计结果显示, 77%的Emoji位于句尾, 14%的Emoji位于句中, 9%的Emoji位于句首(Arafah & Hasyim, 2019)。
Emoji的语义功能是指, 它既可以作为一种独立的语言, 也可以作为一种非语言线索来传达语义(Bai et al., 2019)。一些研究表明, Emoji已经成为了一种独立的语言, 可以以一种独立的表达方式来传达意义, 且通过不同Emoji的组合, 甚至可以表达更微妙的含义(Lopez & Cap, 2017)。而且与纯文本相比, Emoji的语义更丰富(Ai et al., 2017), 并且在不同的语言中具有语义相似性(Barbieri, Espinosa-Anke, et al., 2016)。当然, 也有研究者指出, Emoji需要与文字相结合才能表达出更加完整的意义(Zhou et al., 2017), 并且有助于提高文本的清晰度和可信度(Daniel & Camp, 2018)。在实践中, 用户也倾向于将Emoji作为文本的补充(Ai et al., 2017), 这表明Emoji更倾向于是一种副语言(Bai et al., 2019)。当然, Emoji的语义功能更多地体现在它可以发挥非语言线索的作用, 以帮助理解网络交流中所传达的信息的整体含义。例如, Emoji在语句中所具有的加强表达、调整语气等功能, 可以使交流双方传达的信息更准确(Aldunate & González-Ibáñez, 2017), 从而可以减少在网络交流中因缺乏非言语线索而造成的误解。
2.1.3 维持或促进人际关系
Emoji维系和促进人际关系的功能表现在诸多方面。比如, 人们可以通过使用Emoji与同伴进行游戏互动。游戏是亲密关系维持的重要条件之一(Baxter, 1992)。Emoji本身就具有生动、形象和有趣等特点, 且其种类多种多样。人们可以在文本交流中以各种有趣的形式加入Emoji, 来增加对话的情感互动和幽默成分, 从而可以提升交流的愉悦度, 促进双方关系的进一步提升。另外, 对话者双方可以在交流中为Emoji赋予只属于他们这种特定关系的新的内涵, 这是由对话者双方在特定的情境下建立的。这种有趣的互动创建了一个只属于对话者双方的情感连接, 从而可以促进亲密关系的提升。总的来说, Emoji补充了网络交流中所缺乏的视觉线索, 让双方的互动变得更贴近于面对面交流, 使得沟通双方的观点和情感能够得到较好的交换。且Emoji作为在线交流中互动的调节剂, 能够以幽默、玩笑等互动形式, 增添在线交流的乐趣, 从而使沟通双方的感情得到升华, 并进一步促进双方关系的提升。
2.1.4 其他作用
除了以上介绍的主要功能外, Emoji在网络交流中还具有诸多其他的功能。Emoji除了面部表情外, 还有着可以表示各种各样实物的表情符号, 它们可以替换相应的文本词汇, 从而使言语表达更加形象。例如, “我想要一个
”。另外, Emoji还具有修饰语言的功能, 使语言表达更加丰富多彩。例如, “祝你生日快乐! 

”。还可以用于表达立场和对某人、某事的态度和反应, 即表示与交流对象或被评论对象的立场保持一致或不保持一致、喜欢或不喜欢(Schneebeli, 2017)。例如, “A:我在比赛中获得了第一名”, “B:
”; 本例中就表达了B对A取得良好成绩的肯定与赞扬。Emoji还有一个重要功能, 那就是澄清信息、减少歧义, 以提高沟通的准确性和效率(Chen & Siu, 2017)。例如, “猫咪又把我的作业弄脏了
”与“猫咪又把我的作业弄脏了
”, 同样的两句话, 前一句表示了说话者的些许无奈但又透露出对猫咪的喜爱; 而后一句明显表现出了生气、愤怒之意。另外, 表情符号与文本的结合还可以表达言外之意(Dresner & Herring, 2010), 这就不能仅从文本信息的层面去理解说话者的意图。例如, “你真是可爱!
”, 这个例子中并没有表现出说话者赞美对方的意思, 而更多地是一种不屑与嘲讽。当然, Emoji还有很多的功能, 在这里我们不可能一一列举, 并且随着Emoji在网络交流中的进一步传播和使用, 还会衍生出更多的功能。
2.2 影响Emoji使用的因素
通过以上的总结, 可以看到Emoji在网络交流中具有表达情感、传达语义以及维持人际关系等多种功能。同时, Emoji具体的使用方式、使用程度和使用偏好等也会受到多种因素的影响, 具体包括性别、文化、平台和语境等因素。
2.2.1 性别因素
传统观点认为, 女性比男性更善于表达感情, 例如在面对面的交流中, 女性会表现出比男性更丰富的面部表情。而Emoji作为网络交流中非言语线索的代替, 同样也表现出了这种性别差异。有研究指出, 男女在表情符号的使用频率上存在着较大差异, 表现为女性比男性更爱使用表情符号(Wolf, 2000)。此外, 男女在Emoji的使用模式上也有所不同, 表现为女性更倾向于使用单个Emoji, 或者在信息中分散使用多个Emoji, 而男性则倾向于连续使用多个Emoji (Chen et al., 2017)。男女对于Emoji的使用偏好也不同, 女性更倾向于使用与面部相关的Emoji, 而男性则更倾向于使用与心脏相关的Emoji (如,
) (Chen et al., 2017)。男女在公共社交平台(如, Twitter)和私人社交平台(如, WhatsApp)上的Emoji使用情况也存在差异, 表现为:在私人社交平台上, 男性比女性更频繁地使用Emoji, 且在同一条信息中包含的Emoji数量也比女性多; 而在公共社交平台上, 女性则比男性更多地使用Emoji (Chen et al., 2017)。但是, Herring和Dainas (2018)通过对男女在Facebook上的使用情况进行分析发现, 男女在对Emoji功能的理解上没有显著差异, 这表明女性和男性似乎都以相似的方式理解Emoji。另外, 由于男女本身在兴趣爱好和生活习惯等方面的差异, 使得他们在Emoji的类型选择和使用上也存在差异。比如, 男性会使用更多与运动相关的Emoji, 如
等; 而女性则更多会使用到一些与生活消费、化妆品等相关的Emoji, 如
等。
2.2.2 文化因素
Emoji因其丰富易懂的内容形式, 使得当下大多数的社交媒体服务和即时通讯平台都采用了它(Jibril & Abdullah, 2013), 这也使得Emoji逐渐成为一种世界通用语言。然而, 文化成为了Emoji理解偏差的重要因素。首先, 不同的文化有着不同的语言, Emoji作为一种语言交流工具, 它所代表的“语义”对其使用有着重要影响。已有研究表明, 在不同的语言环境中, 对于高频率使用的Emoji其语义基本是相似的, 只有一些特殊的Emoji在不同的语言里有着不同的含义(Barbieri, Kruszewski, et al., 2016)。例如, 竖起大拇指的“
”在北美和亚洲传达了正向积极的含义, 而在伊拉克或希腊却是一种侮辱(Danesi, 2016)。此外, 文化中的个人主义和集体主义被认为是解释文化是如何影响人们的沟通方式的最重要因素, 一般来说, 个人主义文化中的个体表达情感相对随意, 因此面部表情的表达更直接; 而集体主义文化中的个体则会在考虑到别人感受的情况下来呈现面部表情, 从而其情绪表达更间接。另外, 有研究显示, 东西方文化的个体在面部表情加工过程中存在差异, 表现为在面孔识别时, 西方人更喜欢关注嘴型的变化, 而东方人则更偏爱于关注眼睛的变化。这种文化差异也存在于Emoji的识别中, 即西方人主要根据Emoji的嘴部形状来判断其情感倾向, 而东方人则主要根据Emoji的眼部形状来判断其情感倾向(Gao & VanderLaan, 2020)。因此, 不同文化之间由于其语言、生活习惯、以及思维方式等方面的差异, 导致了他们在使用和理解Emoji的过程中会有所不同, 了解这些差异有利于促进跨文化个体之间的交流, 以减少不必要的误解和冲突。
2.2.3 平台因素
统一码联盟虽然为每一个Emoji提供了相应的编码和名称, 但并没有规范具体图像的呈现形式, 因此同一种名称的Emoji可能在不同的社交网络平台上会有不同的呈现形式(Miller et al., 2016)。例如, 编码为“U+1F606”的Emoji, 其官方含义为“张着嘴、闭着眼睛的笑脸”, 在谷歌Android 11.0设备上呈现为“ ”, 而在苹果iOS 14.6版本上呈现为“
”。因此, 不同平台上呈现同一个Emoji时, 其颜色、形状等外形会发生一定的变化, 而正是这种变化可能会使得不同平台之间的部分Emoji的效价和唤醒度会有明显的不同, 从而影响到人们在使用过程中的实际表达效果, 并且在跨平台使用时, 可能还会增加产生误解的风险(Miller et al., 2016), 有时甚至会造成严重的后果。例如, 代表手枪的Emoji在谷歌Android 9.0上呈现为“
”, 而在Messenger 1.0上呈现为“
”。因此, 这可能会导致在实际交流中, 某些Emoji的原始含义会从积极变为消极, 从而在网络交流中造成误解(Wagner et al., 2020)。Emojipedia是关于“Emoji百科全书式”的网站, 目前该网站给出了39个Emoji使用平台, 这意味着给定的同一个Emoji代码可能最多会有39种图形呈现形式(Emojipedia, 2021d), 如表1所示。
表1 部分平台上“Beaming Face With Smiling Eyes”的展示
| 编码 | 部分平台及其最新版本 | ||||||
|---|---|---|---|---|---|---|---|
| U+1F604 | Apple iOS 14.6 | Google Android 11.0 | Microsoft Windows 10 (May 2019 Update) | Samsung One UI 2.5 | WhatsApp 2.20.206.24 | Twitter Twemoji 13.1 | Facebook 4.0 |
| OpenMoji 13.0 | Emojidex 1.0.34 | Messenger 1.0 | LG G5 | HTC Sense 8 | Mozilla Firefox OS 2.5 | SoftBank 2014 | |
2.2.4 语境因素
随着聊天语境的变化, Emoji的实际含义也会有所不同。尽管Emoji可以单独使用, 但它们通常都与文字共同出现, 因为文本信息的补充可以更加精确地传达说话者的意图和情感, 以减少发生误解的可能。然而, 当文本信息在情感上是模棱两可时, 人们对Emoji的理解可能会出现偏差(Tigwell & Flatla, 2016)。因此, 聊天过程中出现的文本信息会影响人们对Emoji的理解(Miller et al., 2017)。例如, “我考了100分! ”和“我妹妹居然又把我的布偶弄脏了...
”。在第一句话中, Emoji传达了一种令人振奋和骄傲的情绪, 这是积极的; 而同样的Emoji在第二句话中却传达的是说话者愤怒的负面情绪。另外, 语境中的情感偏向也会影响到Emoji的使用, 具体表现为:在积极的语境中, 人们使用Emoji的频率会更高,
而在消极的语境中, Emoji出现的频率会更低(Chen et al., 2017)。最后, 正式与非正式的聊天语境, 也会影响到Emoji的使用。例如, 在与上司谈及工作的语境中, 人们会尽量减少表情符号的使用, 以体现这种聊天语境中的认真性和严肃性; 而在与同伴、家人和朋友等亲密关系的日常在线交流中, 人们会使用各种各样的Emoji, 以提升交流的趣味性和更好地表达情感。
2.2.5 其他因素
除了以上罗列的主要因素外, Emoji的使用还会受到其他因素的影响。例如年龄也是影响Emoji使用的因素之一。Emoji的一个使用限制是其必须依靠电子设备和网络技术才能传递, 而不同年龄群体对电子设备和信息技术的观念和接受程度是不同的。一项元分析发现, 年龄与新技术的使用意愿和可觉察的有用性成反比(Hauk et al., 2018), 这可能意味着年龄越大的群体越不愿意使用类似于Emoji这样的网络新兴产物, 从而促使不同年龄群体在Emoji的使用和理解方面存在差异。另外, 对Emoji的熟悉程度也会影响到Emoji的使用(Tigwell & Flatla, 2016)。对Emoji不熟悉的用户可能无法正确领会Emoji的含义, 从而无法选取合适的Emoji来表达自己的情感。最后, Emoji在输入法中的排列顺序也会影响到Emoji的使用(Pohl et al., 2017)。例如, 用户想通过Emoji来表达一种情感或态度, 可是由于Emoji的数量众多, 而他所想输入的Emoji在靠后的页面, 为了便捷, 他可能放弃原本想使用的Emoji而选择一个替代性的Emoji, 这会使得他的情绪情感难以得到精准地表达。总之, Emoji的使用会受到诸多因素的影响, 了解这些影响因素有利于促进用户之间更好地交流, 利于开发者更好地优化Emoji的设计和使用, 还有利于研究者从更加全面的角度来进行有关研究。
2.3 Emoji在网络交流中的互动机制
Emoji已经成为网络交流中必不可少的语言形式。通过以上的总结, 我们可以看到Emoji具有表达情感、维持人际关系等诸多功能, 能够使交流过程更加生动、幽默和有趣。那么, Emoji在网络交流中的功能是如何发挥的, 其又是通过何种途径来促进交流互动的呢?以下将从符号互动理论的视角来探索Emoji在网络交流中的互动机制。
美国社会心理学家Mead (1962)创建了符号互动理论(Symbolic Interactionism), 后来经他的学生Blumer等人不断补充和完善。“符号”是指在一定程度上具有某种象征意义的事物, 具体表现在人们社会互动的过程中一种对其发出者和接收者具有共同意义的信息(Rose, 1962)。而语言是人类社会交互过程中最基本的符号系统, 人们可以通过口头语言、文本语言以及身体语言等多种语言形式传达各种意义, 实现人与人之间的互动交往。随着网络交流的不断发展和演变, 各种具有象征意义的符号也不断出现, 比如Emoji表情符号。符号互动论涉及三个基本观点:(1)符号的意义是人们在社会互动的过程中所赋予的, 而不是其本身所具有的; (2)在社会互动的过程中, 人们通过对符号的理解来做出反应; (3)人们对符号的理解会在社会互动的过程中不断改变(Aksan et al., 2009)。
Emoji作为一种表情符号, 其应当具备表情符号的基本功能, 即指代性、互通性和趣味性(Al Rashdi, 2018)。指代性是指表情符号可以用于代指某种事物或传达某种情感, 这是表情符号的基本功能。互通性是指表情符号可以跨越语言、文化和地区的差异来传达信息。趣味性是指基于表情符号的互动相比于文字互动更生动、形象而有趣。也正是因为这些功能, 才使得Emoji能够成为一种世界通用的符号。同时, Emoji表情符号的互动过程也是建立在其具有互动功能的属性之上的, 这也正符合符号互动论的基本观点。
根据符号互动理论, 符号互动离不开四个主要因素, 即社会关系、个体、情境和符号(Blumer, 1969)。其中的个体包括交流双方的符号编码者和符号解码者, 即符号发送者和符号接收者。而符号的意义来源于个体在某一社会情境中的互动交流。那么通过符号互动理论可以将Emoji在网络交流中的互动机制演示为以下几个步骤(见图1):(1)基于某种社交关系的个体之间, 在某种动机的驱动下产生了互动需求; (2)在考虑到这种社交关系和当前的社交情境下, 符号编码者会提前设想自己应该展现出一个怎样的形象, 于是在进行对话前会进行自我的角色建构; (3)明确自己在当前对话中的角色以后, 符号编码者会根据自己的角色和对话情境选择合适的Emoji来传递信息和表达情感; (4)符号解码者在接收到信息后, 同样会根据双方的关系进行自我角色建构, 并在考虑当前的社交情境下对符号编码者发出的Emoji进行解读; (5)最后, 符号解码者要么回复以结束互动, 要么再根据自己的互动需求以符号编码者的身份与对方继续进行互动。在这整个互动的过程中, Emoji就成为了交流者之间互动的媒介, 并且因为Emoji本身的视觉特性, 如形象、具体、直观和生动等特性, 能够给交流双方带来视觉上的冲击, 以及更广阔的想象空间, 于是相比单纯的文本语言符号就更容易使对话交流充满趣味性。并且符号编码者和解码者的身份会在交流者之间不断地进行转换, 并随着交流情境的不断改变和双方关系的微妙变化, 双方交流中所使用的Emoji也会更容易成为属于双方共有的、具有一定意义的传达信息和情感的中介符号。
当然, 以上只是从符号互动理论的视角对Emoji在网络交流中的互动机制进行了探讨, 未来还可以从社会存在理论、社会信息加工理论、印象管理理论、使用与满足理论等方面来更加深入地探讨Emoji在网络交流中如此盛行的原因和机制。
图1
3 Emoji在其他领域的应用
以上我们主要从传播学、语言学和心理学角度, 总结了Emoji在网络交流中的作用和影响因素, 并从符号互动理论视角出发, 分析了Emoji在网络交流中的互动机制。目前, 随着Emoji的广泛传播和使用, 其应用范围已经扩展到了诸多其他领域, 并有着广阔的研究和应用价值, 主要涉及情感分析、心理测量、商业营销和法律判决等领域。
3.1 Emoji在情感分析中的应用
电子媒介中的交流方式已经演变为远不止包括文字陈述, 还包括首字母缩写、表情符号(如, Emoji)和其他视觉内容(如, 视频)等(Gross, 2020)。其中, Emoji在在线交流中的重要性尤为突出, 例如, 每天就仅仅在WhatsApp、Facebook Posts和Facebook Messenger三个应用平台上使用的Emoji数量就超过了60亿(Grover, 2020)。Emoji作为一种传达情感的象形符号, 已经跨越语言的鸿沟, 成为世界各地人们普遍使用的情感表达方式(Huang et al., 2019)。然而, 尽管Emoji在过去的几年里迅速发展, 但到目前为止, Emoji所表达的情感却很少受到研究者的关注(Fernandez- Gavilanes et al., 2018)。
情感分析(Sentiment Analysis), 又称意见挖掘, 是通过计算机算法对带有情感色彩的内容(诸如文本、图像和视频等)进行分析处理, 以识别其中所蕴含的情绪情感的过程(Priyavrat et al., 2021)。情感分析已广泛应用于研究在线用户生成的各种数据之中(Zhao et al., 2018), 可以在选举结果预测、股票预测、意见挖掘、商业分析和其他数据驱动的任务中发挥作用(Li, Rzepka, et al., 2018)。比如在消费领域, 网络购物趋势的不断发展促进了使用情感分析工具分析顾客购买意向的需求的出现, 这使得企业可以利用通过分析用户相关数据而得到的信息来发展产品质量、调整市场策略, 从而更好地满足客户需求(Gupta et al., 2020)。然而, 传统的情感分析研究更偏向于将文本内容作为其分析对象, 但随着在线交流中表达情感方式的增加(如, 表情符号、图片和视频等), 使得这种分析方式已经不能满足当前的实际需求。有研究者认为, 在情感研究中忽视表情符号是非常不合理的, 因为它们传达着重要的情感信息, 并在社交媒体中表达情感和观点方面发挥着重要作用(Li, Rafal, et al., 2019)。Gupta等人(2020)通过研究发现, 只有将文本和表情符号都纳入情感分析时, 才能够更加完整和准确地分析出其中所蕴含的情绪情感。Shiha和Ayvaz (2017)研究了Emoji在文本挖掘和情感分析中的作用, 其结果发现, 在情感分析中使用Emoji可以得到更高的情感得分, 并且情感分析中Emoji的使用对正性观点的影响比对负性观点的影响会更高。另外, Li, Luo等人(2019)考虑到Emoji在使用过程中所具有的情感表达不确定性的特点, 已经提出了一种标签衰减传播模型(Label Attenuation Propagation Model), 可以用于自动、多维、定量地计算Emoji所蕴含的情感。由此可见, Emoji在情感分析中扮演着重要角色, 但由于Emoji本身所具有的一些特征(如, 情绪表达的模糊性等), 使得将其与文本内容一起进行情感分析时具有一定的难度, 未来还需进一步完善有关的算法和模型, 以更准确地对用户在网络上留下的海量Emoji数据信息进行分析。
3.2 Emoji在心理测量中的应用
已有研究者探讨了Emoji的使用与人格特征之间的关系, 并开始探索Emoji在识别人格差异方面的作用。不同用户在使用和解释相同的Emoji时存在一定的差异(Miller et al., 2017)。研究发现, 人格特征会影响人们对Emoji的选择、使用和解释(Völkel et al., 2019)。目前, 已有部分研究通过用户在社交媒体中留下的数据(如, Emoji)来评估其人格特征(Wei et al., 2017)。但总的来说, 考察人格和Emoji使用之间关系的研究还很少(Völkel et al., 2019)。Li, Chen等人(2018)调查了人格特征在推特上对Emoji使用模式的影响:他们根据每个用户在推特上的用词选择来评估他们的人格特征, 发现了基于人格特征的不同Emoji使用模式。例如, 他们发现推特上宜人性得分高的用户会使用更多心形的Emoji。Marengo等人(2019)则发现, 外倾性和责任心得分较高的用户倾向于使用更多积极的Emoji, 而神经质得分较高的人则倾向于使用夸张的面部Emoji。Marengo等人(2017)研究了Emoji是否可以用来代替人格评估中的文本项目, 结果表明:在检测的91个Emoji中, 有36个与大五人格中的神经质、外向性和宜人性显著相关, 这三个特征与情绪、情感联系最为紧密; 并且还发现以Emoji为基础编制的人格问卷与以文本为基础编制的人格问卷之间的得分相关显著(r = 0.6~0.8), 这表明Emoji可以被开发成一种非语言的人格评估工具, 用来评估不同语言、文化和地区人群的人格差异。这将是人格测量领域内的一个新突破, 未来还需要在有关方面进一步加大研究。
有研究者还考察了Emoji在抑郁症测量方面的作用。目前, 抑郁症的测量主要是通过有效的纸质问卷来进行, 如CES-D量表(Andresen et al., 1994)。但所有基于文本的测量都有着一个共同的限制, 即依赖于言语项目的使用(Mui et al., 2001)。因此, 当对来自不同语言、文化或教育水平的个体进行评估时, 可能会产生偏差, 从而影响实际的评估结果(Teresi et al., 2008)。因此, 需要一种新的测量方式来克服这一障碍, 以提升测量工具的准确性和扩展其使用范围。而Emoji易于理解, 使用范围广泛, 即使在缺乏语言基础的小孩和受教育水平较低的老年人中也能较好地使用(Tan et al., 2018)。早在2008年, Lee等人(2008)就探索了使用基于Emoticon的测量工具对卒中后抑郁症患者症状进行评估的效果, 结果表明基于Emoticon的项目可以像传统的基于文本的项目一样可靠地测量抑郁程度。Tan等人(2018)也探索了使用基于Emoticon的项目来评估新加坡老年人样本中的抑郁症状, 其结果表明Emoticon量表在识别亚临床抑郁症状的个体方面具有较好的准确性, 但在识别临床抑郁症的个体方面的准确性较差。因此, 基于表情符号编制的量表虽然易于使用, 但其在老年抑郁症筛查中的有效性还有待进一步探索。Marengo等人(2019)则以年轻人为被试群体, 探讨了一组由36个Emoji组成的项目来评估抑郁症状的可行性, 结果发现其在测量抑郁症症状方面的准确性与基于文本的测量相当。因此, 以Emoji为代表的表情符号可以作为测量人格或抑郁症的项目, 且具有一定的信效度, 但未来还需进一步拓展相关的研究, 以探索其广泛的应用价值。例如, 基于表情符号的测量应如何编制相应的项目、其信效度如何有效地评估、它们更适用于哪些领域、其测量结果是否会受到年龄等因素的影响等, 因此还需要进行不断的探索, 以解决其在实际应用中的各种问题。
3.3 Emoji在商业营销中的应用
Emoji在吸引注意力、促进社会互动和增加消费者体验以及他们的购买意愿方面发挥着重要作用(Das et al., 2019)。近年来, Emoji在商业营销传播中展现了其新的用途, 广告商越来越多地在促销宣传中使用Emoji (Jaeger et al., 2017; Luangrath et al., 2017), 以有趣、非正式和创造性的方式与消费者进行互动(Chi & Winslet, 2017), 主要涉及到广告、品牌和营销活动中, 且就2016年的使用量就同比往年增长了777% (Ge & Gretzel, 2018)。例如, 可口可乐、迪士尼和星巴克的广告活动中就曾涉及有Emoji (Moussa, 2019)。Emoji可以影响消费者在营销活动中的认知和行为(Manganari & Dimara, 2017), 例如, 食品包装上Emoji的存在会影响儿童的饮食选择(Luangrath et al., 2017)。
有研究表明, Emoji在营销传播中的使用可能会影响消费者的情感状态(Li, Chan, et al., 2019), 从而影响到消费者的购买意愿(Das & Hagtvedt, 2016)。但有研究者指出, Emoji对消费者购买意愿的影响可能存在一定的特定条件(Glikson et al., 2018)。Das等人(2019)研究了广告中Emoji的加入对消费者购买意愿的影响, 结果发现:广告营销中Emoji的存在会提升消费者的积极情绪, 从而提升消费者的购买意愿, 但这只存在于享乐型的产品之中, 在实用型产品中并不存在, 即广告中Emoji的加入对消费者购买意愿的影响会受到产品类型的调节。那为什么Emoji的接触会影响到消费者的情绪情感状态呢?Lohmann等人(2017)认为, 这是因为情绪具有传染性, 当人们“捕捉”到Emoji所描绘的积极情绪时, 人们的情绪会自动地与其所传递的情绪相匹配, 从而对相应的商品产生好感。并且研究者普遍认为, 与心情不好的消费者相比, 心情好的消费者更有可能购物, 因此, 当Emoji能够增加消费者的积极情绪时, 消费者的购买意愿也会相应地提高(Das et al., 2019)。另外, 包含Emoji的信息也更有吸引力、信息量更大并更有说服力(Njenga, 2017; Riordan, 2017), 因此在一定的条件下会影响到消费者的购买行为。Emoji也可以是反映消费者情绪的一种方式, 特别是在监控消费者对品牌、产品和服务的情绪方面(Phand & Chakkarwar, 2018; Rathan et al., 2018)。Emoji被认为是表达个体与食物相关情绪的最简单直观的方式(Vidal et al., 2016), 且当前已经编制出了可以用来衡量消费者与食物相关情绪的Emoji问卷(Jaeger et al., 2019), 尤其是在与儿童相关的食物偏好和情绪反应测量方面(Gallo et al., 2017; Lima et al., 2019; Swaney- Stueve et al., 2018)。但是也有一些研究者指出, 尽管Emoji在情感测量方面比文本情感词汇表现出更多的可辨别性和简洁性, 但它们的多重含义以及本身意义的模糊性可能会影响到真实的测量结果(Herring & Dainas, 2017)。因此, 目前Emoji问卷并不能直接取代现有的基于文本的情感调查形式, 而仅仅是作为一种补充(Jaeger et al., 2018)。当然, 未来可以进一步进行研究, 以开发出可以独立测量消费者情绪的Emoji问卷。
3.4 Emoji在法律判决中的应用
随着在线交流中Emoji的使用越来越多, 他们在法律纠纷中的应用也越来频繁(Behrens, 2019)。事实上, Emoji不仅出现在日常交流中, 还出现在具有法律约束力的文件中, 包括遗嘱、谈判提议或各种协议等(Bich-Carrière, 2019)。在越来越多的法律案例中, Emoji可以作为司法审判的证据, 或者作为揭示当事人文本信息中所隐含犯罪意义的事实(Wagner et al., 2020)。近年来, 美国的几起刑事案件都提到了当事人发送的Emoji, 包括用于死亡威胁、性骚扰、公开煽动死亡和威胁歧视的Emoji等(Goldman, 2020)。2018年8月, 美国第七巡回上诉法院(U.S. Court of Appeals for the Seventh Circuit)因在一份公开意见书中植入“
” (便便)表情而成为头条新闻, 这是联邦上诉法院首次将表情符号使用到具有法律效用的意见中(Bashman, 2018)。Bich-Carrière (2019)通过对加拿大的三个法律数据库进行搜索, 发现了115个有关“Emoticon”和“Emoji”两类表情符号作为证据的判决案例。由此可见, Emoji作为证据已经在一些国家的司法审判中取得了一定的法律效力。
既然Emoji可以作为法律证据, 那么如何正确解读Emoji的含义就显得尤为重要。但是, 由于Emoji本身所具有的某些特征、文化差异、平台差异等因素, 导致对Emoji的解读充满了复杂性(Wagner & Marusek, 2019)。例如, 当用户之间是跨平台的交流时, 其所使用的Emoji在不同平台上的显示方式可能是不同的(Miller et al., 2016), 这就可能会导致某些Emoji的原始含义从积极转变为消极, 从而在网络对话中造成误解(Wagner et al., 2020)。另外, 当Emoji在法庭上被作为证据提交时, 应着重考虑其使用的特定语境, 因为同一个Emoji在不同的语境中可能会有相当大的差异。例如, 同样的拳头手势“
”可以在句子中表示祝贺(“干得好”)、威胁(“我要揍你”)或游戏(“石头、剪子、布”) (Bich-Carrière, 2019)。当然, 还有很多需要考虑的因素。因此, 律师在将Emoji作为法律证据提交之前应该谨慎行事, 对有关的证据进行仔细地分析和审查(Bich-Carrière, 2019; Glikson et al., 2018)。由于Emoji逐渐开始成为法律证据的一部分, 因此, 解释Emoji也成为了律师的一项新技能, 并且目前以教授律师如何解读Emoji的含义, 以及如何在证词和审判中处理Emoji证据的法律教育课程也已经存在(Behrens, 2019)。未来, 还要进一步探讨影响Emoji使用的各种因素, 以探索出Emoji在作为法律证据时需要进行的一系列系统的取证方案, 以保证其在作为法律证据时的权威性和准确性。
通过梳理和总结Emoji在其他领域的应用和研究情况, 可以看到Emoji已经完全突破了在网络交流中的应用, 且在情感分析、心理测量、商业营销和法律判决领域也具有极其重要的应用和研究价值。随着Emoji进一步的传播和使用, 其应用范围和应用深度也将进一步的扩大和提升。但总的来说, Emoji目前在其他领域的研究还处于最初阶段, 随着Emoji在这些领域的进一步扩展, 未来也需要更多的研究来探索Emoji更广泛而深层次的研究价值。
4 总结与展望
Emoji作为重要的非语言线索, 已经成为在线交流中不可或缺的组成部分, 其影响甚至扩展到了其他领域。目前有关Emoji的研究已经从传播学、语言学领域, 延伸到了心理学、社会学、计算机科学、法律学以及市场营销学等领域。当前, 对Emoji的研究主要还是集中在传播学和语言学领域, 主要探讨了Emoji作为一种表情符号的发展演变、在网络交流中的作用和影响因素以及如何优化Emoji的输入设计以更好地方便用户使用等。而随着Emoji在其他领域里的应用, 使得我们必须突破原有的研究模式, 从不同角度来探索其更加广泛的应用价值。未来可从以下几个方面对Emoji进行更为深入的研究:
4.1 进一步探索Emoji在网络交流中的应用和未来发展趋势
目前, 学者主要从语言学、传播学和符号学角度, 对Emoji在网络交流中的作用和影响因素进行了较为全面的探讨。如Emoji具有表达情感、传达语义、维持人际关系、增加趣味性等功能, 在使用过程中会受到文化、地域、性别、年龄、以及平台等多种因素的影响。从作用上来看, 目前的研究大多关注的是Emoji积极方面的作用, 而对Emoji的过度或错误使用所导致的消极作用缺乏探讨。而Emoji作为在线交流中不可或缺的一部分, 其不适当的使用方式可能会损坏甚至阻断一段人际关系。此外, Emoji的作用如此丰富多样, 甚至已经超过了文本语言的功能, 那么未来Emoji是否能够成为一门独立的语言系统, 从而代替文本语言, 成为一门世界通用语言呢?未来也值得研究。但是从表情符号的发展演变来看, 有学者已经发出“未来Emoji是否会被新兴表情符号Stickers所取代”的疑问。Stickers被描述为“大号粗体版的Emoji” (Jezouit, 2017)和“超大卡通和人物驱动的Emoticon” (Wang, 2016), Stickers实则是人或物的插图或动画, 有时会附加少量的单词或短语文本。与Emoji相比, Stickers的精细设计且受人物驱动的特性更能清晰地描绘肢体语言和面部表情, 因此比Emoji更可爱、更有趣、更幽默、更具体, 且情感表达更强烈, 并能够表达个体的个性(Konrad et al., 2020)。但Stickers的一些特点, 如尺寸较大、较难和文本配合使用、特定于某个应用程序使用等, 使得其传播受到了一定的限制(Konrad et al., 2020)。因此, 未来有必要研究Emoji和Stickers之间具体存在哪些实质性的差异, 以及Stickers的发展是否会取代Emoji在数字交流中的地位。
4.2 加大对Emoji在其他领域中应用情况的进一步研究
在心理学领域, 目前已有部分研究者证实了基于Emoji编制的量表可以应用于人格测量、抑郁评估和消费者情绪测量等方面, 且具有一定的信效度。但目前此类研究在国外才刚刚起步, 在国内更是还没有开始涉及, 因此还有着非常广阔的研究空间。比如在人格测量方面, 目前的研究只是发现基于Emoji编制的量表与大五人格中与情绪情感联系最紧密的三个特质(神经质、宜人性和外倾性)显著相关, 而与责任心、开放性这种与一般认知能力联系更为紧密的特质相关不显著(Marengo et al., 2017), 这是否说明基于Emoji编制的量表未来只能用于施测与情绪情感相关的人格特质?此外, 类似的研究目前只是通过将人们在Emoji人格量表上的得分与传统的文本人格量表上的得分求相关, 来探寻Emoji人格量表是否能够有效测评有关的人格特质, 还缺乏基于Emoji人格量表自己的信效度检验方式。并且, Emoji的使用会受到文化、性别、年龄等多种因素的影响, 那么在实际的施测过程中, 又如何避免这些因素对施测结果的不利影响?因此, Emoji在心理测量中的应用还需要进一步的探索和完善, 在抑郁评估和消费者情绪测量等方面亦是如此。另外, 既然Emoji具有维持人际关系、表达幽默和增加趣味性等功能, 那么Emoji的积极使用是否与一些积极心理品质有联系呢?未来还可以研究Emoji的使用频率或使用方式与亲密关系、人际信任、主观幸福感以及焦虑、抑郁等心理变量的关系, 以探寻Emoji的使用与人们心理健康的联系。
在情感分析领域, 当前的研究已证实通过将Emoji加入情感分析, 能够更加准确地获得人们所表达的情绪情感。情感分析是通过设计计算模型和算法来抓取人们在网络中留下的语言符号, 以分析其中所蕴含的情绪情感的过程。当前, 情感分析研究在实现抓取和分析数据之前, 一般需要建立一个情感词典, 标注每个文本词汇和每种表情符号所代表的情感维度, 一般包括积极、中性和消极三个维度。但是Emoji在实际的使用过程中, 其情感色彩在不同的语境中可能不同, 甚至同一个Emoji在不同的语境中可以呈现出两种截然相反的情感状态。加之当文本内容与Emoji结合使用时, 其整体的情感色彩将更加复杂。因此单独通过将某个句子中的文本词汇或Emoji与情感词典进行匹配对比的方法存在较大的缺陷。虽然目前已有研究者考虑到了这一问题, 但还缺乏相应完备的算法模型来解决。另外, 由于Emoji的使用还会受到诸如年龄、性别、平台等因素的影响, 那么在实际的情感分析中, 又如何避免这些因素可能会造成的消极影响, 未来也需要进一步的研究。
4.3 更加深入探索Emoji的神经生理机制
Emoji是否会激活与真实面部表情相同的大脑区域, 目前还缺乏有关的研究。右侧梭状回是大脑参与面部识别与处理的主要脑区之一, 面孔失认症患者的这部分脑区会发生明显的病变(Kanwisher & Yovel, 2006)。先前的研究发现, 孤立使用的Emoticon表情符号激活了与情绪处理有关的右侧额下回, 但未能激活与真实人脸识别相关的大脑右侧梭状回(Yuasa et al., 2006)。当Emoticon表情符号使用在句子末尾时, 其会使与非语言处理有关的大脑左右侧额下回和与语言理解相关的布洛卡区更加活跃, 但右侧梭状回仍然未被激活(Yuasa et al., 2011)。这从侧面表明, 对Emoticon表情符号的识别可能与真实人脸的识别具有不同的神经生理机制, 但从另一个角度来看, 这是否说明当Emoticon表情符号在发挥其不同功能时, 其激活的脑区或同一脑区的激活程度存在差异?这可以为接下来探索Emoji的神经生理机制提供方向。一方面, 作为一种与真实人脸更相似的Emoji, 是否有着与人脸表情识别相似的神经生理机制呢?目前有部分研究者通过ERP研究发现了Emoji能够引发与面部处理相关的N170成分, 这表明Emoji与面部表情可能有着相似的神经处理过程(Gantiva et al., 2019)。未来还需要进一步结合功能性核磁共振等多种方法, 来证明Emoji是否真的与人脸表情识别有着类似的神经生理机制。另一方面, 未来还可以探寻Emoji的神经生理机制是否会随着其功能的不同而有所差异。Emoji有着表达情感、传达语义和加强表达等多种功能, 那么其在发挥不同的功能时, 是否大脑的激活区域或激活水平也会有所不同。总之, 关于Emoji表情符号的识别是否与真实面孔表情的识别相类似, 未来仍然需要不断地探索。
4.4 从认知加工角度来探讨Emoji在网络交流中的积极效果
已有研究发现, 相比于单纯的文本语言交流, Emoji的加入能够为网络交流带来诸多积极的效果。例如, “今天真开心 ”, 这种在一段文字后面跟随几个具有相同意义或重复的Emoji不但能够增强文本所表达的情感, 还能使表达看起来更加的活泼、生动和有趣(Schneebeli, 2017)。另外, 与单纯使用文本相比, Emoji和文本的结合会给人一种更加积极的聊天状态, 并且能够更加准确地表达个体的态度和情绪情感, 从而也更利于信息接收者对信息进行理解(Jibril & Abdullah, 2013)。还有学者研究发现, Emoji与文本内容的结合, 有利于提升个体认知加工的流畅性(Daniel & Camp, 2018)。虽然研究者已经证明Emoji的使用能够为网络交流带来诸多的积极效果, 但极少有研究从认知加工的角度来深入探讨Emoji在带来这些积极效果背后的作用机制。因此, 未来可以探讨在纯文本、纯Emoji和两者结合使用的三种使用情境中, 大脑在认知加工过程中存在怎样的差异, 且这些差异会产生怎样的影响。例如, 单纯的文本与Emoji的加入在视觉感知上会给人们带来怎样的感受差异, 这种差异程度有多大, 且会受到哪些因素的影响; 是否使用了Emoji的对话情境能够让人记忆更加深刻, 其内在机制如何; 相比文本, Emoji的使用是否能够引发人们更多的想象空间, 这对交流过程有怎样的影响; 以及Emoji的加入对人们情绪的唤醒程度是否更高等。通过认知加工的角度来探索Emoji在网络交流中的积极效果, 能够更加科学合理地揭示Emoji在网络交流中的作用机制, 也能为未来有关Emoji的设计、使用和相关研究奠定良好基础。
参考文献
Untangling emoji popularity through semantic embeddings
Symbolic interaction theory
DOI:10.1016/j.sbspro.2009.01.160 URL [本文引用: 1]
Functions of emojis in WhatsApp interaction among Omanis
An integrated review of emoticons in computer-mediated communication
Linguistic features of typographic emoticons in SMS discourse
Screening for depression in well older adults: Evaluation of a short form of the CES-D
We derived and tested a short form of the Center for Epidemiologic Studies Depression Scale (CES-D) for reliability and validity among a sample of well older adults in a large Health Maintenance Organization. The 10-item screening questionnaire, the CESD-10, showed good predictive accuracy when compared to the full-length 20-item version of the CES-D (kappa =.97, P <.001). Cutoff scores for depressive symptoms were > or = 16 for the full-length questionnaire and > or = 10 for the 10-item version. We discuss other potential cutoff values. The CESD-10 showed an expected positive correlation with poorer health status scores (r =.37) and a strong negative correlation with positive affect (r = -.63). Retest correlations for the CESD-10 were comparable to those in other studies (r =.71). We administered the CESD-10 again after 12 months, and scores were stable with strong correlation of r =.59.
Linguistic functions of emoji in social media communication
A systematic review of emoji: Current research and future perspectives
DOI:10.3389/fpsyg.2019.02221 URL [本文引用: 2]
SemEval 2018 task 2: Multilingual emoji prediction
Revealing patterns of Twitter emoji usage in Barcelona and Madrid
October). How cosmopolitan are emojis? Exploring emojis usage and meaning over different languages with distributional semantics
Forms and functions of intimate play in personal relationships
DOI:10.1111/j.1468-2958.1992.tb00556.x URL [本文引用: 1]
“Unknown symbols”: Online legal research in the age of emoji
DOI:10.1080/0270319X.2019.1696067 URL [本文引用: 2]
Say it with [A smiling face with smiling eyes]: Judicial use and legal challenges with emoji interpretation in Canada
DOI:10.1007/s11196-018-9594-5 URL [本文引用: 4]
Symbolic interactionism: Perspective and method
Exploring user behavior of emoticon use among Chinese youth
Through a gender lens: An empirical study of emoji usage over large-scale android users
Using emoji effectively in marketing: An empirical study
The semiotics of emoji: The rise of visual language in the age of the internet
Emojis affect processing fluency on social media
Consumer responses to combined arousal-inducing stimuli
DOI:10.1016/j.ijresmar.2015.11.003 URL [本文引用: 2]
To emoji or not to emoji? Examining the influence of emoji on consumer reactions to advertising
DOI:10.1016/j.jbusres.2018.11.007 URL [本文引用: 5]
Functions of the nonverbal in CMC: Emoticons and illocutionary force
DOI:10.1111/j.1468-2885.2010.01362.x
[本文引用: 1]
The term "emoticons"-short for "emotion icons"-refers to graphic signs, such as the smiley face, that often accompany computer-mediated textual communication. They are most often characterized as iconic indicators of emotion, conveyed through a communication channel that is parallel to the linguistic one. In this article, it is argued that this conception of emoticons fails to account for some of their important uses. We present a brief outline of speech act theory and use it to provide a complementary account of emoticons, according to which they also function as indicators of illocutionary force. We conclude by considering how our analysis bears upon broader questions concerning language, bodily behavior, and text.
Unicode Version 6.0. Retrieved May 28, 2021
from https://emojipedia.org/unicode-6.0/
Creating emoji lexica from unsupervised sentiment analysis of their descriptions
DOI:10.1016/j.eswa.2018.02.043 URL [本文引用: 3]
A focus group approach to understanding food-related emotions with children using words and emojis
DOI:10.1111/joss.12264 URL [本文引用: 2]
Cortical processing of human and emoji faces: An ERP analysis
Cultural influences on perceptions of emotions depicted in emojis
DOI:10.1089/cyber.2020.0024 URL [本文引用: 1]
Emoji rhetoric: A social media influencer perspective
The dark side of a smiley: Effects of smiling emoticons on virtual first impressions
DOI:10.1177/1948550617720269 URL [本文引用: 3]
Using the uses and gratifications theory to understand gratifications sought through text messaging practices of male and female undergraduate students
DOI:10.1016/j.chb.2012.06.024 URL [本文引用: 1]
Sentiment analysis and emotion recognition: Evolving the paradigm of communication within data classification
Sentiment analysis: Usage of text and emoji for expressing sentiments
Ready to be a silver surfer? A meta-analysis on the relationship between chronological age and technology acceptance
"Nice picture comment!" Graphicons in Facebook comment threads
Receiver interpretations of emoji functions: A gender perspective
Emojis-based recurrent neural network for Chinese microblogs sentiment analysis
Measuring consumers' product associations with emoji and emotion word questionnaires: Case studies with tasted foods and written stimuli
DOI:S0963-9969(18)30281-3
PMID:30007739
[本文引用: 2]
Measurement of emotional associations to food/beverage stimuli and consumption situations provide consumer insights that extend beyond hedonic responses. The aim of this research was to compare emoji, a novel approach in product-focused emotion research, with emotion words, an established approach. Focus was directed to questionnaires, which are popular in this field of research. The questionnaires were overall comparable in the meanings conveyed by the emoji/emotion words, and matched for length. Eight studies with a total of 1121 consumers in New Zealand and China were conducted with tasted foods and written stimuli. The studies were diverse and compatible with an explorative research strategy. While emoji, overall, were more discriminative than emotion words, the findings were highly study specific. When tasted foods with medium/large sample differences were used, emoji and emotion words showed similar performance overall, although emotion words better discriminated between the most liked samples and emoji better discriminated between the lesser liked samples. When samples were more similar, emoji generally were more discriminative, although emotion words still discriminated well for the pairs of most liked samples. Among Chinese consumers, there was some evidence to suggest less suitability of emotion words to characterise and discriminate written stimuli that elicited negative emotions. Emoji profiles, on the other hand, fitted expectations, and this difference could be linked to the influence of national culture. Taken together, the results from this research suggest that emoji questionnaires can have some advantages. However, their multiple meanings can be an obstacle. Overall, practitioners are advised to not select emotion questionnaire method independently from other experimental factors, but make an informed study-specific decision as to the choice of emoji or emotion word questionnaires. Additional research that eliminate some of the differences between the studies in this research are recommended to corroborate the present conclusions.Copyright © 2018 Elsevier Ltd. All rights reserved.
Valence, arousal and sentiment meanings of 33 facial emoji: Insights for the use of emoji in consumer research
DOI:S0963-9969(18)30866-4
PMID:30884730
[本文引用: 3]
Emoji are increasingly used for emotional expression in computer-mediated communications and represent a relevant source of information for consumer companies about consumer's food-related attitudes and behaviours. However, given that emoji convey a wide range of meanings an in-depth understanding of how consumers interpret them is necessary to enable their use in food-related consumer research. The purpose of this research was to explore consumers' interpretations of facial emoji. In an online survey with 1084 adults from the USA, an open-ended question was used to uncover meanings associated to 33 common facial emoji (in Apple platform rendition iOS 6.0). Participants also evaluated the emotional valence and arousal of the emoji using Self-Assessment Manikins (SAM). The latter confirmed that facial emoji can span broad ranges of emotional valence and arousal and convey a corresponding range of different emotions. Although emoji conveyed their unique and intended meaning, semantic meanings were multiple and bestowed by associations of varying strength depending on the specific emoji being considered. This emphasised that emoji interpretation and use can be flexible, as also seen in internet resources dedicated to emoji meaning. Implications for food-related consumer research are discussed.Copyright © 2018 Elsevier Ltd. All rights reserved.
Can emoji be used as a direct method to measure emotional associations to food names? Preliminary investigations with consumers in USA and China
DOI:10.1016/j.foodqual.2016.09.005 URL [本文引用: 1]
Relevance of emoticons in computer-mediated communication contexts: An overview
Mobile phone use in romantic relationships
The fusiform face area: A cortical region specialized for the perception of faces
DOI:10.1098/rstb.2006.1934 URL [本文引用: 1]
“Turn that frown upside-down”: A contextual account of emoticon usage on different virtual platforms
DOI:10.1016/j.chb.2016.02.088 URL [本文引用: 3]
Characterizing the inventive appropriation of emoji as relationally meaningful in mediated close personal relationships
A study on the use of communication functions in mobile messenger emoticons-focus on Line Messenger
Sticker and emoji use in Facebook messenger: Implications for graphicon change
DOI:10.1093/jcmc/zmaa003 URL [本文引用: 2]
The smiley as a simple screening tool for depression after stroke: A preliminary study
In Hong Kong, there is a paucity of evidence to support which tool is superior in measuring depression after stroke (DAS). A simple, non-language-based, culturally neutral, non-verbal and easy to apply tool that is not highly dependent on training will be desirable.The present study aimed to examine the clinical utility of three smiley pictures in detecting DAS for older Chinese patients at 1 month after first-ever ischemic stroke.This was a cross-sectional study. A total of 253 stroke patients were interviewed by a research nurse at 1-month follow-up.Taking Diagnostic and Statistic Manual (DSM IV) as the gold standard, the measurement properties of emoticon (sad) in terms of sensitivity, specificity, positive and negative predictive values, as well as Kappa's value were found comparable to Geriatric Depression Scale (GDS). The emoticon (happy) demonstrated a highly significant inverse relationship with all depression assessment tools (p<0.001). It was also found that the emoticon (flat) could capture 98% of all depressed subjects identified by DSM IV, although its predictive values were less satisfactory.The smiley pictures seemed to fulfil the requirements for early and prompt screening among older patients. Cultural implication regarding emotions dissipation among Chinese patients should be further studied.
Preliminary analysis of Weibo emojis for sentiment analysis of Chinese social media
Emojis sentiment analysis based on big social media data
HEMOS: A novel deep learning-based fine-grained humor detecting method for sentiment analysis of social media
DOI:10.1016/j.ipm.2020.102290 URL [本文引用: 1]
Can front-of-pack nutrition labeling influence children's emotional associations with unhealthy food products? An experiment using emoji
DOI:10.1016/j.foodres.2019.02.027 URL [本文引用: 2]
Mining the relationship between emoji usage patterns and personality
Service with emoticons: How customers interpret employee use of emoticons in online service encounters
DOI:10.1093/jcr/ucy016 URL [本文引用: 2]
The effects of smileys on receivers' emotions
DOI:10.1108/JCM-02-2017-2120 URL [本文引用: 2]
Did you ever read about frogs drinking coffee? Investigating the compositionality of multi-emoji expressions
Textual paralanguage and its implications for marketing communications
DOI:10.1016/j.jcps.2016.05.002 URL [本文引用: 2]
Enhancing the impact of online hotel reviews through the use of emoticons
Assessing personality using emoji: An exploratory study
DOI:10.1016/j.paid.2017.02.037 URL [本文引用: 2]
Development and preliminary validation of an image-based instrument to assess depressive symptoms
DOI:S0165-1781(19)30210-0
PMID:30827495
[本文引用: 2]
Depression has high social and economic costs, making the reducing of potential barriers to screening of utmost importance. The use of non-verbal, image-based items might help to widen accessibility to depression screenings due to their potentially increased ease of interpretation and language-free nature. In this view, the paper presents two studies exploring the feasibility of assessing depressive symptoms using a set of image-based items consisting of 36 emoji. In study 1, 430 online-recruited young adults participated to investigate whether they ever felt in the way depicted by each emoji during the last week. Results showed that 33 emoji had significant, theoretically coherent correlations with the 10-item version of the Center for Epidemiologic Studies Depression Scale. Next, a subset of 10 emoji were selected for potential inclusion in a brief depression assessment. In study 2, using a sample of 482 young adults, the 10-item emoji-based assessment showed acceptable internal consistency, and theoretically consistent convergent and divergent validity with depressive symptoms, and big-5 personality traits. Further, the emoji-based screening instrument showed remarkable accuracy in identifying individuals showing depression symptoms. Overall, results indicate that the selected emoji represent a promising alternative to text-based items when assessing depressive symptoms among young adults.Copyright © 2019 Elsevier B.V. All rights reserved.
Understanding emoji ambiguity in context: The role of text in emoji-related miscommunication
"Blissfully happy" or "ready to fight": Varying interpretations of emoji
An emoji-based metric for monitoring consumers' emotions toward brands on social media
Measuring brand personality using emoji: Findings from Mokken scaling
DOI:10.1057/s41262-020-00220-8 URL [本文引用: 1]
Cross-cultural assessment of geriatric depression: A review of the CES-D and the GDS.
Social media information security threats: Anthropomorphic emoji analysis on social engineering
Sentiment of emojis
More emojis, less :) The competition for paralinguistic function in microblog writing
Couples and computer-mediated communication: A closer look at the affordances and use of the channel
DOI:10.1111/j.1552-3934.2011.02099.x URL [本文引用: 1]
Enhanced sentiment classification using geo location tweets
Beyond just text: Semantic emoji similarity modeling to support expressive communication
Motives, frequency and attitudes toward emoji and emoticon use.
Multimodal sentiment analysis of social media data: A review
Consumer insight mining: Aspect based Twitter opinion mining of mobile phone reviews
DOI:10.1016/j.asoc.2017.07.056 URL [本文引用: 2]
The communicative role of non-face emojis: Affect and disambiguation
DOI:10.1016/j.chb.2017.07.009 URL [本文引用: 3]
The role of sentence closing as an emotional marker: A case of Japanese mobile phone e-mail
DOI:10.1016/j.dcm.2013.07.001 URL [本文引用: 1]
Finding human umbilical cords as the true origin of universal face emojis transcending persons of all ages, genders, culture, religion and ethnicity
The interplay of emoji, emoticons, and verbal modalities in CMC: A case study of YouTube comments
The effects of emoji in sentiment analysis
DOI:10.17706/IJCEE.2017.9.1.360-369 URL [本文引用: 1]
Kawaii meiru and Maroyaka neko: Mobile emoji for relationship maintenance and aesthetic expressions among Japanese teens
The emoji scale: A facial scale for the 21st century
DOI:10.1016/j.foodqual.2018.03.002 URL [本文引用: 1]
Sensitivity and specificity analysis: Use of emoticon for screening of depression in elderly in Singapore
DOI:10.1177/1078390318766665 URL [本文引用: 2]
Occurrences and sources of Differential Item Functioning (DIF) in patient-reported outcome measures: Description of DIF methods, and review of measures of depression, quality of life and general health
Oh that's what you meant! Reducing emoji misunderstanding
Assessment of public perceptions and concerns of celiac disease: A Twitter-based sentiment analysis study
DOI:S1590-8658(20)30049-9 PMID:32127326 [本文引用: 1]
Use of emoticon and emoji in tweets for food-related emotional expression
DOI:10.1016/j.foodqual.2015.12.002 URL [本文引用: 2]
Understanding emoji interpretation through user personality and message context
Rumors on the net: A brackish suspension of speech and hate
Emojis and law: Contextualized flexibility of meaning in cyber communication
DOI:10.1080/10350330.2020.1731198 URL [本文引用: 3]
More than words? The effect of line character sticker use on intimacy in the mobile communication environment
DOI:10.1177/0894439315590209 URL [本文引用: 1]
Beyond the words: Predicting user personality from heterogeneous information
A semantics-based measure of emoji similarity
Emotional expression online: Gender differences in emoticon use.
Emoticons convey emotions without cognition of faces: An fMRI study
Brain activity when reading sentences and emoticons: An fMRI study of verbal and nonverbal communication
Analyzing and predicting emoji usages in social media
Goodbye text, hello emoji: Mobile communication on WeChat in China
/
| 〈 |
|
〉 |
