1 引言
人类所处的自然和社会环境中的信息瞬息万变, 大脑需要不断对周围环境中的变化信号进行感觉登记。由于认知资源的有限性, 大量不具有生存意义或者与当前任务无关的变化信息并不会被个体所察觉, 这被称之为变化盲视现象(the change blindness phenomenon; Simons & Levin 1997)。由此, 早期的视觉变化检测理论强调注意选择在视觉变化信息探测过程中的重要性, 并且认为那些没有被注意系统选择的信息即使有着很大程度地变化也不会被进一步加工(Simons & Rensink, 2005)。事实真的如此吗?一些研究者们发现, 即使被试将注意力集中在与目标刺激无关的任务中, 这些目标刺激的变化仍然能够引起一种明显的ERP成分——失匹配负波(mismatch negativity, MMN)。随着相关证据的不断积累, 研究者们现在普遍认为MMN代表了大脑对听觉变化信息的自动检测机制(Näätänen, Tervaniemi, Sussman, Paavilainen, & Winkler, 2001)。
在此基础上, 研究者们进一步发现, 视觉刺激变化的自动检测机制也有类似的指标——视觉失匹配负波(visual mismatch negativity, vMMN)。vMMN是由嵌入在一串不断重复的相同刺激(标准刺激)序列中偶然出现的低频刺激(偏差刺激)诱发的(evoked)ERP活动, 研究者们通常将vMMN定义为偏差刺激和标准刺激各自诱发的ERP之间的差值(Kimura, Schröger, & Czigler, 2011; Zhao & Li, 2006)。随着vMMN相关研究的增加, 该指标不再被认为是听觉MMN的副本(Näätänen, Paavilainen, Rinne, & Alho, 2007)。越来越多的研究将其作为一种独立的基础研究工具, 并且开始发掘其应用价值。在vMMN的系列研究中, 颜色(Thierry, Athanasopoulos, Wiggett, Dering, & Kuipers, 2009), 线条朝向(Czigler & Pató, 2009), 或者空间频率(Sulykos & Czigler, 2011)等简单感知特征变化的自动化加工机制已经被证实。此外, 物体的不规则性(Müller, Widmann, & Schröger, 2013), 词汇信息(Shtyrov, Goryainova, Tugin, Ossadtchi, & Shestakova, 2013)等高水平认知属性变化的自动检测机制也同样已被vMMN揭示。一个重要的问题是, 这种自动化的检测机制是否可以推广至真实社会性信息的加工范畴之中(Kimura, Kondo, Ohira, & Schröger, 2012)。为了探究这一问题, 研究者们尝试将人类情绪变化的前注意加工纳入vMMN的研究领域(Zhao & Li, 2006)。相关研究证实, 即使在非注意状态下, 个体依然能够自动化地加工他人面部表情的变化并产生vMMN活动(Stefanics, Csukly, Komlósi, Czobor, & Czigler, 2012)。为了区分情绪与非情绪vMMN, 研究者们将面部表情诱发的vMMN称为表情失匹配负波(expression mismatch negativity, EMMN)。
近年来(2006~2019)不断增加的EMMN研究推动了vMMN领域的发展：一方面, 研究范式和研究方法不断推陈出新; 另一方面, 针对特殊人群(抑郁症、焦虑症等)的临床研究引人瞩目。虽然国内外学者已从失匹配负波的视听整合(辛昕, 任桂琴, 李金彩, 唐晓雨, 2017)、失匹配负波与内隐分类学习的关系(Czigler, 2013), 以及失匹配负波的理论意义(Stefanics, Kremlácek, & Czigler, 2014; Winkler & Czigler, 2012)等角度, 对vMMN和MMN进行了梳理和阐述, 但缺少对EMMN相关研究的总结和分析。鉴于此, 本文结合当前情绪无意识加工研究的热点及趋势, 系统地回顾和梳理EMMN的特点, 并依据相关理论加以分析和解释, 以期为今后情绪和情感认知加工领域的研究提供借鉴和参考。
2 EMMN的研究方法
EMMN通常在“被动oddball范式”中获得。“oddball范式”是指在不断重复的标准刺激(standard stimulus, S)序列中会随机出现小概率的偏差刺激(deviant stimulus, D) (May, Tiitinen, Ilmoniemi, Nyman, Taylor, & Näätänen, 1999)。研究者可以利用D相较于S在某一目标特征(待探究的特征)上的改变来操作研究的自变量; “被动”则是指被试在观察这些S和D的过程中需要执行一些无关任务, 因此对于那些目标特征变化信息的加工是一种“非主动”的无意识、自动化的过程。EMMN系列研究通常对该范式进行三方面的调整和改进：一是选择不同的S和D刺激以及不同的呈现位置; 二是改变无关任务的类型, 以更严格的控制注意力; 三是设置不同的刺激序列。
2.1 面部表情偏差刺激与标准刺激的演变
研究者们在标准刺激和偏差刺激的选择上主要有三类区别。首先, 面孔身份的数量不同。最初验证EMMN的研究(Zhao & Li, 2006)只采用了一位演员的面部表情, 这样的材料设置难以排除S和D之间低水平物理差异的影响。这是因为特定面孔之间低水平特征差异造成的额外神经活动, 可能会影响情绪信息差异加工过程的表现。为了克服这个问题, Astikainen和Hietanen (2009的研究采用了4名演员(2男2女)的面部表情作为刺激材料, 这些演员的不同表情图片被作为S和D在同一个block中呈现。此外, 还有研究则将不同演员的表情图片放在相互独立的block中(Gayle, Gal, & Kieffaber, 2012), 即一段刺激序列只出现某一名演员的S和D面孔。虽然随后的研究并没有统一选用同一block或者是独立block的呈现方式, 但使用不同身份的面孔来控制低水平差异的方法已经普遍被研究者们所接受。
其次, 单试次呈现的面孔数量不同。单个试次呈现面孔刺激的数量, 不仅涉及自动化加工目标数量的问题, 而且涉及到面孔刺激所在视野位置的问题。最初的系列研究(Astikainen & Hietanen, 2009; Gayle et al., 2012; Kimura et al., 2012; Li, Lu, Sun, Gao, & Zhao, 2012; Susac, Ilmoniemi, Pihko, Ranken, & Supek, 2010; Zhao & Li, 2006)均将问题聚焦在视野中央呈现的单个面孔的表情变化自动探测上, 但Stefanics等(2012)的研究引入了新的实验设计, 将面孔刺激呈现在屏幕的四个角落。这种设计不仅能够模拟日常生活中视野边缘的面部表情变化, 而且还能更好地控制注意资源。这种刺激呈现方式在随后一些研究中得以继续沿用(Liu, Xiao, Li, & Shi, 2015; Liu, Xiao, & Shi, 2016; Wang et al., 2016)。如果不考虑注意控制的效果, 视野中央的单面孔和视野外周的多面孔呈现方式本质上考察了两类现实情况, 因此具有同等重要的价值。
最后, S和D的效价选择不同。大部分研究都将中性面孔作为S, 将快乐面孔作为D1 (一种偏差刺激), 将某种消极情绪面孔(包括愤怒, 悲伤, 恐惧)作为D2 (另一种偏差刺激)。然而, 一些研究者在实验设计中加入了“反向组块” (reverse block) (Kreegipuu et al., 2013; Kimura et al., 2012; Stefanics et al., 2012; Wang et al., 2016)。在这种设计中, 标准刺激和偏差刺激会在不同的block中转换“身份”。例如, 在Stefanics等(2012)的研究中, 一半的block将中性面孔作为S、愤怒面孔作为D, 而另一半block则将愤怒面孔作为S、中性面孔作为D。此时的EMMN通过作为D的愤怒刺激减去作为S的愤怒刺激各自诱发的ERP获得。而这两个条件中的愤怒刺激只是所处的序列环境不同, 但实际上具有完全相同的物理属性。这使实验获得的EMMN完全避免了刺激低水平差异的混淆。除了上述三个方面之外, 也有一些研究做出了刺激调整的其他尝试, 如使用虚拟面孔(Chang, Xu, Shi, Zhang, & Zhao, 2010; Kreegipuu et al., 2013)等。
2.2 注意操控方法的改进
EMMN研究主要通过听觉、视觉以及视听同步的三种无关任务来操控注意。Zhao和Li (2006)借鉴以往的MMN研究(Wei, Chan, & Luo, 2002), 尝试使用跨通道延迟反应范式(cross-modal delayed response)验证了EMMN的存在。该范式要求被试对出现在面孔之前的语音刺激的音调进行分类, 因此也被称之为语音辨别任务。此后的两项研究又开发出了语音计数任务(Astikainen & Hietanen, 2009; Gayle et al., 2012)。Astikainen和Hietanen (2009)的研究中, 在被试观察刺激图片的同时, 播放了一段语音故事, 并要求被试计算该故事中/y/音节开头单词的数目。而Gayle等(2012)的研究则要求被试计算故事中以字母“T”或者“K”开头的单词的数目。相较于语音辨别任务, 语音计数任务的难度更大, 因此可以更有效地控制注意资源。然而, 这些研究中普遍存在一个不容忽视的问题, 即听觉和视觉通道的注意资源可能具有一定程度的独立性, 因此听觉任务可能无法有效的限制视觉注意资源(Czigler, 2013)。为此, 一些研究者尝试使用视听同步任务来控制被试的注意资源。例如, 在Vogel, Shen和Neuhaus (2015)的研究中, 被试不仅需要回答有关故事内容的10道选择题, 而且还要对左上角有五角星的面孔图片按键反应。这样的实验设置尽管可以严格地控制被试的注意力, 但是也会因其过高的任务难度而加速被试的疲劳(Stefanics et al., 2014)。
由于一致通道任务(单一视觉任务)有着适宜的任务难度和较好的注意限制效果, 因此在EMMN研究中逐渐占据了主流。这其中包括对戴着眼镜的面孔按键反应(Kimura et al., 2012; Susac et al., 2010)、对屏幕中央十字横竖长短的变化反应(Liu et al., 2015; Liu et al., 2016; Stefanics et al., 2012; Wang et al., 2016)、对屏幕中央十字的消失反应(Kovarski et al., 2017)、对白色圆形反应(Soshi et al., 2015)等。但上述采用视觉任务的研究大多将面孔刺激和无关视觉任务(十字, 眼镜等)都呈现在视野中央, 而被试在执行实验任务的同时, 注意力在一定程度上会被面孔所吸引。如何才能排除这一额外因素?前文提到的将几个面孔放置在视野外周的方法不啻为一种很好的选择(Stefanics et al., 2012)。
2.3 刺激序列的更新
在传统的oddball范式中, 标准刺激呈现次数极多。这不仅需要占用整个实验过程的大部分时间, 而且会使被试产生对标准刺激的不应性。鉴于此, 研究者尝试使用流动标准范式(roving standard paradigm)来控制标准刺激次数过多而导致的不应性(Kreegipuu et al., 2013)。该范式通常在某一段时间内重复某种刺激, 这些暂时的重复刺激即为标准刺激, 而每次发生变化时的刺激即为偏差刺激。例如, 在呈现6次中性面孔(S)后, 接着呈现5次愤怒面孔, 之后又呈现7次中性面孔, 依次循环往复。其中第一次呈现的中性面孔之后首次出现的愤怒面孔为愤怒偏差刺激(D1), 而愤怒面孔呈现完毕后, 紧接着出现的第一个中性面孔刺激又成为新的偏差刺激(D2)。这有效地缩短了EMMN研究所需的实验时间, 而且允许研究者们进一步探究随着刺激重复而减少的神经活动。
另一种控制不应性的方法是在oddball序列中加入等概率序列(Jacobsen & Schröger, 2001)。例如, 在Li等(2012)的研究中, 除了中性S和悲伤D组成的oddball序列block外, 研究者还设置了由中性面孔(与S相同)、悲伤面孔(与D相同)、惊讶面孔、快乐面孔以及恐惧面孔组成的控制序列block。控制序列block中的5种刺激具有相同的出现概率, 因而被称为等概率序列。该实验的EMMN由oddball序列中悲伤面孔诱发的ERP减去等概率序列中悲伤面孔诱发的ERP获得。这使得EMMN的计算方法避开了标准刺激, 从而避免了不应性对EMMN成分的影响。此外这种计算方式与“反向组块”类似, 也可以排除刺激间低水平物理差异的影响。因此研究者们认为该范式可以有效地获得“真实vMMN” (genuine vMMN, 指尽可能排除干扰成分后得到的vMMN活动, 详见Stefanics et al. 2014)。采用该范式的研究也随之增多(Astikainen, Cong, Ristaniemi, & Hietanen, 2013; Kovarski et al., 2017)。但是该方法也存在一些局限：需要的实验时间更久, 损耗的被试精力更多。
除了上述的刺激序列改进方法外, 一些研究为了探究预测编码理论对面孔变化自动化加工机制的解释力, 也对刺激序列进行了不同程度地调整(Kimura et al., 2012; Vogel et al., 2015)。本文将在最后一部分对这些研究进行详细的介绍和分析。
3 EMMN的特点
3.1 EMMN的时间和空间分布特征
与面部表情加工中的P1、N170等经典的视觉外源性成分不同, EMMN的时间窗口并不稳定。且由于MMN的波幅往往通过某一段时间内的平均值来衡量, 因此其潜伏期不是由波峰而是由失匹配活动的发生时刻来定义的。从现有的研究结果来看, 在100~520 ms内都能够获得EMMN (Kovarski et al., 2017), 其中一些研究的EMMN是单峰、连续的(Gayle et al., 2012; Kimura et al., 2012; Susac et al., 2010; Stefanics et al., 2012; Zhao & Li, 2006), 而另一些研究的EMMN 则是双峰、分离的(Astikainen & Hietanen, 2009; Chang et al., 2010; Kovarski et al., 2017; Tang et al., 2013)。这些EMMN被认为与其活动时间窗口内的外源性成分有关。Chang等(2010)的研究将面部表情变化诱发的双峰EMMN的前期(120~200 ms)和后期(220~320 ms)活动, 分别解释为N170和P250成分对情绪偏差刺激的差异反应, 而另外两项类似的研究也认为所获的EMMN活动的前期和后期分别反映了刺激变化对N170和P250的影响(Stefanics et al., 2012; Zhao & Li, 2006)。事实上更早的P1成分可能在面部表情变化自动检测的机制中同样占有一席之地, 如Kovarski等人(2017)发现面孔的情绪变化比中性变化诱发了更大的P1波幅。
比较上述EMMN研究的结果和结论可以发现, 面部表情变化的自动化加工机制涉及了多个子过程。Astikainen等(2013)使用等概率控制oddball范式的研究发现, 虽然在oddball序列和等概率序列中, 刺激呈现后的130 ms和170 ms左右均出现了EMMN活动, 但只有130 ms左右的EMMN表现出了不同序列类型间的头皮分布差异。该研究者认为, 第一阶段EMMN反映了大脑对违背了规律的视觉刺激的加工, 而第二阶段EMMN则反映了情绪信息的加工。最近的一项研究通过比较面孔中性偏差和情绪偏差诱发的不同EMMN响应, 进一步揭示了面部表情变化自动化加工机制的不同阶段(Kovarski et al., 2017)。这项研究同样得到了双峰EMMN, 并且发现不论哪个阶段的EMMN, 情绪偏差的差异波响应均具有更长的持续时间。此外, 两个阶段的EMMN波形均表现出了先重合后分离的特点。该研究者推测, 面部表情变化的自动探测应该涉及两种不同的前注意系统, 即视觉变化探查的一般性机制(第一阶段)和情绪加工机制(第二阶段)。由于现有的研究证据并不充分, 因此无法推断面部表情变化的前注意加工机制究竟包含哪些具体子成分, 更无法推断这些成分之间的关系。但这无疑是一个有趣并且值得被进一步探究的问题。
以往研究中的EMMN都分布在枕颞叶电极区域, 其中一些研究发现, 情绪偏差刺激诱发的枕颞叶EMMN存在右半球优势(Gayle et al., 2012; Li et al., 2012; Vogel et al., 2015), 这些结果支持了“大脑右半球假说” (right hemisphere hypojournal) (Borod et al., 1998)。Stefanics等(2012)使用“反向组块”设计, 通过计算(恐惧偏差-恐惧标准) - (快乐偏差-快乐标准)的差异波得到了头皮分布的深层规律：虽然恐惧偏差诱发了右侧颞叶电极90~120 ms较中性偏差更负的差异波, 但快乐偏差刺激却没有表现出类似的早期差异反应。这意味着右半球对消极情绪信息更敏感。更为重要的是, 比较360~390 ms恐惧和快乐偏差刺激诱发的差异波之间的差异发现, 恐惧偏差刺激在大脑右侧颞叶表现出了较快乐偏差刺激更负的响应, 但快乐偏差刺激却表现出了左侧颞叶的响应优势。这种效价在大脑半球优势表现上的分离现象支持了趋避假说(approach-withdrawal hypojournal)。这种假说认为, 左脑特异性的加工积极/接近性的情绪, 而右脑则在加工消极/回避性情绪时占优势(Alves, Fukusima, & Aznar-Casanova, 2008)。
除了枕颞叶电极外, 一些研究在额叶和顶叶附近的电极位置也得到了有效的EMMN响应(Astikainen & Hietanen, 2009; Csukly, Stefanics, Komlosi, Czigler, & Czobor, 2013; Stefanics et al., 2012; Wang et al., 2016)。这表明, 视觉信息(尤其是面部表情)变化的自动化加工, 可能涉及了复杂而广泛的脑网络结构。一些研究在oddball范式的基础上, 使用fMRI、MEG技术对面部表情变化前注意加工可能涉及的脑结构进行了初步的探索。Large, Cavina-Pratesi, Vilis和Culham (2008)的研究首次提供了OFA可能作为面部信息的前意识缓冲器的证据。随后, Stefanics等(2012)的研究发现, 侧颞叶和梭状回可能是EMMN的产生源。而Li等., 2012通过对EMMN的溯源分析得到了更为广泛的大脑后部电流源, 其中包括颞上回、中央后回、顶叶下小叶和岛叶。
3.2 EMMN的消极偏向
早期的一些面孔情绪识别研究发现, 人们对那些携带潜在威胁信息的面部表情具有更强的反应, 这被称之为消极偏向(negativity bias) (Luo, Feng, He, Wang, & Luo, 2010)。在EMMN的现有研究中, 愤怒(Kovarski et al., 2017)、恐惧(Stefanics et al., 2012)、悲伤(Gayle et al., 2012; Zhao & Li, 2006)等偏差刺激均较中性或快乐偏差刺激诱发了更大的EMMN波幅, 这进一步证实了消极偏向。但是, 个别研究得到了不同的结果：积极和消极情绪的EMMN波幅之间不存在显著差异(Astikainen & Hietanen, 2009; Astikainen et al., 2013)。有学者认为, 造成这些不同结果的原因可能是研究者们选取的标准刺激和偏差刺激各异(Kovarski et al., 2017)。
事实上, 在引起争议的两项研究中, 研究者均采用了恐惧面部表情作为消极偏差刺激。“消极偏向”被认为是一种人类进化过程中产生的适应机制, 旨在保护个体免受伤害以及适应环境。已有研究证明“消极偏向”不仅对负性刺激成立, 而且对所有与个体生存有关的信息都具有相同的适用性(Franken, Muris, Nijs, & Strien, 2008)。那么, 现实生活中我们观察到的恐惧表情必然携带着威胁信号吗?个体观察到恐惧表情的情况主要有两种：第一种是个体观察到他人在面对某一威胁线索(如毒蛇、猛兽)时表现出的恐惧表情; 第二种则是个体看到他人对于自己表现出的恐惧, 如个体发火时看到同伴的恐惧表情。第一种情况可能蕴含着威胁线索但也取决于具体的情境, 需要个体进一步地认知评估; 而第二种情况并非一定携带威胁线索。但是现有的EMMN实验范式往往排除了蕴含威胁线索的场景, 并使用单一的面孔刺激, 这往往将被试代入第二种情况中。通过以上分析我们可以窥见恐惧表情的特殊性, 这意味着与社会适应能力息息相关的面部表情自动化加工系统可能在某些情况下不会对恐惧表情投入更多的资源, 但这并不影响“消极偏向”在情绪变化自动加工机制中的适用性。此外, 悲伤偏差刺激上“消极偏向”的研究还说明, 除了威胁性以外, 个体还会对那些具有社会适应意义的情绪变化信息进行更强的加工(Gayle et al., 2012; Li et al., 2012; Zhao & Li, 2006), 例如对悲伤者的关注和同情可能会获得社会赞许和支持。这也分别对应了“消极偏向”的生存和适应功能。
3.3 面孔的情绪信息与身份信息
面孔作为人际交往中最重要的信息载体和线索, 除情绪信息外, 还传递着个人的身份信息。人们可以通过面孔来判断他人的性别, 推测他人的年龄、精神状态, 还可以利用面孔来记忆不同人物及其背后的社会信息, 而且这些过程似乎也不需要刻意地认知加工。那么, 这些面孔特征的变化是否也会引起相应的vMMN活动, 大脑对这些面孔信息变化的自动探测加工与面孔情绪信息变化的自动化加工又有什么区别?
Susac, Ilmoniemi, Pihko和Supek (2004)的研究首次在oddball范式中比较了面孔身份信息与情绪信息变化自动探测加工的异同(Susac et al., 2004)。该研究设置了两种oddball序列条件, 条件1中的偏差刺激与标准刺激是相同演员的两种面部表情(偏差刺激为中性, 标准刺激为快乐), 条件2中的偏差刺激与标准刺激是不同演员的中性面孔。此外该研究还设置了与条件1、2刺激完全相同但倒置呈现的条件3、4。遗憾的是, 这项研究虽然在两种偏差刺激上都得到了较对应标准刺激显著更强的ERP波幅, 但是并没有得到情绪偏差和身份偏差之间的显著差异。6年后, Susac等(2010)再次使用完全相同的实验设计进行了一项MEG研究。该研究发现, 正立条件下, 身份偏差刺激较情绪偏差刺激诱发了更早的vMMN潜伏期, 但二者的vMMN波幅仍然不存在显著差异。此外, 溯源分析得到的两种偏差刺激自动检测机制的激活脑区之间也没有明显的分离。作者认为, 其研究结果不足以说明早期阶段的vMMN活动究竟是反映了面孔身份还是情绪的变化自动检测。这些vMMN活动可能仅反映了面孔整体信息变化的自动检测。虽然已有证据表明, 在面孔出现后的100 ms内, 个体就可以很好地加工其蕴含的各种分类信息(Liu et al., 2002)。但更普遍的观点是, 面孔身份和情绪信息的加工是相互独立的(Bruce & Young, 2011)。事实上, Susac等(2010)的研究仅采用了两名演员的面孔图片作为材料, 即身份信息的变化只有一种, 作者本人也认为随后的研究应该设置更多的面孔身份去探究二者之间的区别。总之, 尽管大量研究证据表明面孔的身份和情绪信息分属不同的加工机制, 但EMMN的现有研究表明, 身份和情绪变化信息的自动加工过程可能部分共用了相同的加工机制和神经基础。由于相关的研究证据明显不足, 因此不能排除二者相互独立的可能性, 这显然需要更多研究去进一步的探究。
面孔情绪信息与性别信息变化自动检测之间的差异在Wang等人(2016)的研究中得到了关注。该研究将4张面孔图片呈现在视野外周, 并设置了4类block：情绪积极变化block将包含4张消极面孔的图片(2男2女)作为标准刺激, 包含4张积极面孔的图片(2男2女)作为偏差刺激; 情绪消极变化block则将情绪积极变化block中的标准刺激和偏差刺激对调; 男性变化block将包含4张女性面孔的图片(2积极2消极)作为标准刺激, 包含4张男性面孔的图片(2积极2消极)作为偏差刺激; 女性变化block则将男性变化block中的标准刺激和偏差刺激对调。该研究仅得到了积极情绪变化、消极情绪变化、男性变化的vMMN活动。该研究者认为, 女性变化vMMN的缺失可能反映了面孔性别变化的自动检测并不仅仅基于简单的面孔分类表征, 而且会受到面孔潜在社会信息的影响。比如男性会比女性更具有攻击性(Cross & Campbell, 2011), 因此男性面孔的出现更容易引起人们的警觉。此外, 男性变化vMMN的潜伏期(240~320 ms)较情绪变化vMMN的潜伏期(积极：200~400 ms; 消极：120~520 ms)更晚。这印证了先前研究的结论：面孔情绪信息的加工较面孔其他信息(如种族、性别)需要的意识参于更少(Amihai, Deouell, & Bentin, 2011)。此外, 该研究还发现消极偏差比积极偏差、男性偏差的EMMN的潜伏期更早, 且具有更长的持续时间。作者基于这些结果推测, 面孔的消极情绪变化可能比面孔其他信息的变化更容易地被自动捕捉和提取加工。
除面孔社会信息的自动化加工之外, 面孔构型信息与情绪信息自动化加工之间的关系也得到了一些研究的关注。研究者通常在原有序列条件的基础上, 增加相同条件的倒置面孔来探究该问题。Kimura等(2012)的研究发现, 倒置面孔较正立面孔诱发的EMMN潜伏期更晚, 但二者波幅之间的差异并不显著, 验证了面孔倒置效应。正立和倒置面孔的情绪偏差刺激都是整体加工, 但由于倒置面孔的构型信息被破坏, 因此需要更长的准备时间。然而, Susac等(2010)的研究却得到了不同的结果：仅在正立条件下, 情绪偏差刺激可以诱发明显的EMMN活动。作者认为, 这种现象说明情绪偏差与标准刺激间的低水平差异并不是EMMN产生的原因, 但这也意味着面孔的构型信息是情绪信息传递的重要线索。Chang等(2010)的研究采用了正立和倒置的图画表情, 并且该研究还对比了重度抑郁症患者与正常被试之间的EMMN响应差异。这项研究发现, 在正常被试的大脑右半球电极点上, 正立面孔情绪偏差刺激比倒置面孔情绪偏差刺激的EMMN波幅更大, 而左半球EMMN波幅之间并无显著差异。然而, 重度抑郁症患者却没有表现出两种偏差刺激诱发的EMMN之间的任何显著差异。
4 情绪变化自动化加工的个体差异
越来越多的研究者开始关注面部表情自动检测的个体差异, 如不同性别 (Li, Zhou, Zheng, Liu, & Zheng, 2018; Xu, Yang, Wang, Sun, & Zhao, 2013)、不同年龄(Liu et al., 2016)、高低流体智力(Liu et al., 2015)、不同人格冲动特质(Soshi et al., 2015)。此外, 自闭症(Gayle et al., 2012)、重度抑郁症(Chang et al., 2010; Wu et al., 2017)、精神分裂症(Corcoran et al., 2017; Csukly et al., 2013; Farkas, Stefanics, Marosi, & Csukly, 2015; Yin, She, Zhao, & Zheng, 2018)、惊恐性障碍(Tang et al., 2013)等临床个体的EMMN也受到了研究者的关注。本文以不同性别、临床个体与正常个体的EMMN差异为例, 进行简要分析。
4.1 EMMN的性别差异
大量的研究表明, 女性具有情绪感知能力的优势(Li, Yuan, & Lin, 2008; Lithari et al., 2010)。情绪信息变化的自动化探测加工是否也存在类似的效应?Xu等(2013)的研究使用图形面孔(简笔画), 考察了男女在完成无关任务时, 屏幕两侧面孔情绪变化诱发的EMMN活动。该研究发现, 悲伤偏差刺激较快乐偏差刺激诱发了女性右半球更强的EMMN活动, 这表明了女性在情绪变化自动检测过程中具有更好的效价敏感性。此外, 该研究溯源分析(sLORETA)的结果显示, 女性的早期EMMN活动源被定位在枕中回, 后期EMMN被定义在顶叶下叶; 而男性的早期EMMN被定位在颞中回, 后期EMMN被定位在额中回。这些EMMN来源之间的差异反映了男女在自动情绪变化探测过程中涉及的神经基础并不一致。最近的一项研究提供了女性在面部表情变化自动探测中存在优势的新证据(Li et al., 2018), 与上述研究一致, 快乐偏差条件下, 女性比男性早期(100~200 ms)和后期(250~350 ms)的EMMN波幅都更大, 这进一步支持了女性在积极情绪变化自动加工中的优势。然而该研究并未发现男女在加工恐惧偏差时的EMMN响应差异。研究者认为, 这可能是由于恐惧情绪在复杂序列中识别难度较高, 或者恐惧信息具有普遍敏感性。
4.2 临床精神疾病患者的EMMN特征
自闭症谱系障碍(ASD)患者往往存在社会交流障碍。Gayle等(2012)探究了面部表情变化EMMN与成年人自闭症特质之间的关系。该研究采用经典“被动oddball范式”, 设置了三种偏差刺激条件：颜色偏差(标准刺激面孔的颜色变为绿色), 积极情绪偏差(快乐)和消极情绪偏差(悲伤)。这项研究证实了EMMN与自闭症特质之间存在关联, 积极情绪偏差诱发的EMMN波幅与自闭症商数(AQ)之间存在显著的正相关, 但消极情绪偏差条件下EMMN和AQ之间相关关系并不显著。研究者认为, 这可能说明“消极偏向”与ASD情感反应降低效应相互独立。
重度抑郁症(major depressive disorder, MDD)患者往往也表现出对情绪信息的异常认知加工, 其核心症状为情绪和人际行为紊乱(Leppanen, 2006; Persad & Polivy, 1993)。一些研究表明抑郁症患者在识别积极和消极面部表情时存在认知缺陷(Persad & Polivy, 1993)。Chang等(2010)探究了抑郁症患者是否存在面部表情变化自动加工的缺陷, 研究采用面部表情符号, 在oddball序列中设置了快乐和悲伤两种偏差刺激, 及正立和倒置两种呈现条件。结果发现MDD较正常被试诱发的EMMN更弱。此外, 该研究还发现, MDD的EMMN并没有表现出与正常被试一样的“面孔倒置效应”, 即MDD功能障碍表现为面孔整体构型信息加工能力受损。
精神分裂症(schizophrenia)患者通常也存在严重的情绪认知障碍, 尤其表现为面部表情的识别能力受损(Kohler, Walker, Martin, Healey & Moberg, 2010)。已有研究得出EMMN响应的缺损表征了核心神经生理功能的障碍, 并且与精神分裂症患者日常功能受损有关(Light & Braff, 2005)。Csukly等(2013)的研究验证了面部表情变化诱发的EMMN响应与精神分裂症患者情绪识别任务表现之间的高度相关性。具体来说, 精神分裂症患者EMMN较正常被试EMMN的减弱程度与其情绪识别任务上较正常被试更差的表现相关。研究者认为, EMMN的受损可能反映了精神分裂症患者情绪变化自动加工能力的受损。这可能会导致情感识别能力下降, 随之出现社会功能障碍。
除了上述的研究之外, 还有大量研究以EMMN为指标, 探究了各类与社会或情绪加工能力受损有关的临床个体自动化加工情绪变化信息的能力, 例如惊恐性障碍(Tang et al., 2013)等。这些系列研究不仅有利于揭示相关精神疾病的成因, 而且为这些精神疾病的诊断和治疗效果的评估提供了潜在的神经指标。
5 预测编码理论框架下的面部表情自动化加工
5.1 预测编码理论简介
关于MMN/vMMN代表的是感觉刺激导致的被动过程, 还是主动认知加工过程这一问题, 研究者们提出了不同的观点：疲劳模型(fatigue model)和记忆错配模型(memory mismatch)。前者认为, 对标准刺激的特定特征进行反应的神经元群体可能会产生不应性状态, 而偏差刺激却能够激活“新鲜”的神经元群体。因此偏差刺激会比标准刺激诱发更强的外源性ERP成分, 从而导致更强的差异波活动。而这些响应差异属于基本的神经生理现象, 并没有具体的认知功能意义(May & Tiitinen, 2010)。后者则认为, 大脑会持续对感觉信息进行记忆表征, 在接收到新的感觉信息时, 会将其与已经形成的相关记忆表征进行对比, 如果二者不同则会重新表征。MMN/vMMN被看作是这种表征过程的外在表现(Todorovic & de Lange, 2012)。然而最近提出的预测编码理论(predictive coding)似乎可以将上述两种不同的解释整合为一体, 该理论认为环境信息的概率结构(各事件的发生概率)是造成不应性和记忆表征的共同潜在原因。
“预测编码”的概念源于一种电信号传递技术。由于视频文件在每一帧的传递过程中包含大量冗余, 因此对相邻帧之间的差异进行编码, 再通过反向处理解释整个视频的方法更加高效。预测编码理论认为, 大脑也是采用了类似的方式来节省资源。该理论认为大脑就像一个“推理机器”, 它不是被动地通过感知觉信息来维持认知加工, 而是主动地结合已有经验来推测感知觉信息的成因, 从而形成对外部世界的假设。这种大脑对外部世界的持续预测机制被称之为“生成模型” (generative models, Clark, 2013; Kimura et al., 2011; Winkler & Czigler, 2012)。重要的是, 当某一时刻接受到的信息与已经形成的假设不一致时, 大脑会快速的将这些不一致特征作为“预测错误”信息进行反馈, 并据此调整原有的假设。该理论中, 大脑的核心任务是不断地降低“预测错误”, 从而保证假设的解释力度。这使得大脑可以尽可能地节省资源, 并且敏锐的察觉重要的异常事件。
那么, 预测编码理论描述的大脑工作过程是如何实现的呢?Friston (2005, 2008, 2010)提出了大脑的分层预测编码框架(hierarchical predictive coding framework)。该框架建立在大脑网络复杂分层组织证据的基础上(Arnal & Giraud, 2012; Kiebel, Daunizeau, & Friston, 2008; Wang, 2010), 认为大脑具有多层级的预测编码组织, 每个层级都包含两种神经元群体：错误单元(error units, E)和表征单元(representation units, R)。高层级R通过对环境中事件特征统计规律的提取来形成相应的预测信息(即前文中提到的假设), 并将预测信息传递给低层级E。而低层级E则会加工环境中违反了当前预测信息的事件, 并为高层级R反馈精准加权的预测错误信号(precision-weighted prediction errors, pwPEs)。表征单元会不断根据pwPE信号来更新预测信息(Clark, 2015; Rao & Ballard, 1999; Friston, 2005)。
研究者们认为MMN/vMMN是预测编码加工过程中pwPEs的外部表现(Friston, 2005; Stephan, Baldeweg, & Friston, 2006; Wacongne et al., 2011; Stefanics et al., 2014; Kremlácek et al., 2016)。并且该解释已经被广泛的研究证明, 其中既包括一些间接证据(Auksztulewicz & Friston, 2015; Chennu et al., 2016; Garrido, Rowe, Halász, & Mattingley, 2017; Phillips, Blenkmann, Hughes, Bekinschtein, & Rowe, 2015), 也包括一些采用模型算法得到的直接证据(Kolossa, Kopp, & Fingscheidt, 2015; Jepma et al., 2016)。
5.2 预测编码理论在EMMN领域的验证
面部表情EMMN是否真的由基于面部表情背景信息的无意识瞬时预测而产生?Kimura等(2012)认为oddball序列中引起的EMMN不仅可以被解释为“预测错误”, 而且同样可以被解释为“记忆错配” (Czigler, 2013; Kimura et al., 2011)。为此该研究使用了特殊的刺激序列：两种情绪面孔(恐惧和快乐)有规律的交替出现(恐惧标准条件和快乐标准条件)。但在刺激呈现过程中, 两类面孔都有可能突然的重复出现(恐惧偏差条件和快乐偏差条件)。被试的任务是对戴着眼镜的面孔进行按键反应。该实验中不存在数量占优的刺激类型, 仅有违反了原有规律的刺激。因此如果能够通过偏差刺激减标准刺激的方法获得有效的EMMN活动, 就可以证明EMMN是由违背了规律的刺激所诱发, 即EMMN是大脑“预测错误”反应的外在表现。此外, 该研究还设置了倒置序列, 以验证EMMN反映的预测编码活动是否依赖于面孔的整体信息。结果发现, 恐惧和快乐偏差刺激均能诱发显著的EMMN活动, 且正立条件较倒置条件的EMMN潜伏期更短。
Vogel等(2015)的研究则发现了情绪内容在预测编码过程中的特异性加工。该研究中的偏差条件并不是单个刺激, 而是三种偏差序列。研究者选用了男女各一名演员的中性和恐惧面孔图片作为材料。在学习阶段中, 要求被试先观察包含40个试次的标准序列(先呈现男演员中性面孔后呈现女演员中性面孔)。在正式实验中, 被试则需要观察由标准序列(占70%)和三类偏差序列(各占10%)构成的刺激流。三类偏差序列分别为, 序列类型偏差序列(先中性男后中性男)、情绪类型偏差序列(先中性男后恐惧女)和序列情绪类型偏差序列(先中性男后恐惧男)。研究发现, 情绪类型偏差较序列类型偏差的EMMN潜伏期提前了100 ms, 情绪类型偏差还诱发了较序列类型偏差右半球更大的EMMN波幅。更为重要的是, 溯源(sLORETA)分析得到, 情绪类型偏差激活了更广的神经网络。这项研究不仅证实了面孔情绪信息变化的自动化加工与预测编码理论之间的紧密联系, 而且还证明了情绪内容能够加速和放大这些预测编码活动, 并且更广泛的调动大脑组织。这意味着, 情绪相关的预测编码活动具有更高的优先级, 大脑为那些带有情绪意义的“预测错误信号”给予了更高的反馈权重和更多的反馈单元。
值得一提的是, 最近的一项研究通过神经计算模型证明, EMMN确实反映了预测编码理论中的pwPEs (Stefanics, Heinzle, Horváth, & Stephan, 2018)。该研究采用流动标准范式, 设置了面孔颜色和情绪两种偏差刺激条件。研究者使用分层高斯滤波器(the Hierarchical Gaussian Filter, HGF; Mathys et al., 2014), 在假定最优贝叶斯观察者的情况下, 通过单试次EEG信号模拟了其对外部状态(面孔颜色或者面孔情绪变化)的信念轨迹。HGF是一种感知推理和学习领域的贝叶斯模型, 最近的几项研究采用该模型探究了大脑的层级预测错误响应(Iglesias et al., 2013; Lawson, Mathys, & Rees, 2017; Powers, Mathys, & Corlett, 2017; Schwartenbeck, FitzGerald, Mathys, Dolan, & Friston, 2015; Vossel, Mathys, Stephan, & Friston, 2015)。通过HGF确定了颜色和情绪偏差刺激各自的pwPEs轨迹后, 研究者将相关参数作为单试次广义线性模型(GLM)的定量回归因子(quantitative regressors), 计算并模拟出了pwPEs的脑电波形和地形图。结果表明, 颜色和情绪偏差在计算模型中pwPE响应的头皮分布(时间窗口为320~500 ms和405~455 ms)与传统方法(偏差刺激-标准刺激)得到的EMMN的头皮分布(时间窗口为324~484 ms和420~452 ms)相当吻合。该研究在EMMN响应上检验了预测编码理论的理论预期, 并且支持了先前的概念：MMN/vMMN可以被理解为分层贝叶斯推断加工过程的现实机能(Friston, 2005; Garrido, Kilner, Kiebel, & Friston, 2009)。
6 总结与展望
人脑如何自动化加工瞬息万变的情绪信息?研究者们利用EMMN, 探究了面部表情变化自动化加工的神经机制。并比较了不同性别、高低流体智力个体, 以及正常与异常个体之间的EMMN差异。此外, 还从预测编码理论的角度, 阐释了EMMN的产生机理和理论意义。事实上, 关于情绪变化信息的自动化加工, 还有大量的问题值得研究者们去思考和探究。
6.1 验证EMMN在临床诊断和评估的可行性
Kremlácek等(2016)对精神分裂症、心境障碍、药物滥用、神经退行性疾病、发育障碍、惊恐障碍等33项临床应用领域的vMMN研究进行了元分析。该作者认为vMMN较MMN的一个重要优势是可以反映视觉信息的认知加工缺陷(而视觉加工是人类日常生活中最主要的感觉加工方式), 并且对某些病理性变化更为敏感。然而, 相较于MMN, vMMN的临床研究还处于起步阶段, 其应用潜力尚未得到充分的认识。EMMN作为一种特殊的vMMN, 能够反映视觉通道情绪信息的认知加工缺陷, 这进一步地推动了vMMN的临床研究, 将相关精神疾病患者表现出的情绪识别和处理障碍与其症状产生、维持和发展的影响因素联系了起来。因此, 今后的研究有必要进一步考察伴有情绪加工障碍的相关精神疾病患者在情绪变化自动检测能力上的缺陷表现, 并尝试探究EMMN在临床诊断、评估等方面应用的可行性。
6.2 扩展不同情绪载体和不同加工通道EMMN的特点
人类借助多种载体来表达情绪信息, 这些载体主要包括面孔, 语音和躯体动作。现有研究主要考察了面部表情变化的自动检测机制, 以及面孔和语音信息变化自动检测的整合机制(详见：辛昕等, 2017)。躯体作为视觉通道上情绪信息表达和传递的另一个重要载体(详见：丁小斌, 康铁君, 赵鑫, 2017; 丁小斌, 康铁君, 赵鑫, 付军军, 2017), 是否具有与情绪面孔相似的EMMN值得进一步考察(Ding, Liu, Kang, Wang, & Kret, 2019)。此外, 躯体表情线索所表达的情绪信息和动作信息在前注意加工中是否存在分离?躯体表情与面部表情的EMMN是否存在差异?不同情绪类型躯体表情与面部表情之间EMMN的整合等问题也有待于进一步考察。
6.3 揭示EMMN的潜在神经基础和加工机制
EMMN/vMMN/MMN的研究逻辑建立在一个容易被忽视的过程上, 即观察到一个事件或者特征的重复后, 大脑会形成该事件或特征的概率预测, 即大脑会从刺激流中提取规律。失匹配活动正是这种规律提取加工的间接证据。现有的大量研究都在关注具有明显优势作用的一面, 也就是本文所强调的大脑对环境中非预期变化信息的自动检测, 然而这枚硬币的另外一面——大脑对信息流规律的提取过程可能同样重要(Stefanics et al., 2014)。预测编码理论在情绪变化信息自动检测相关EMMN上的核实不仅揭示了情绪加工与一般认知加工之间的紧密联系, 而且说明了预测编码理论及其背后的神经计算模型和大脑机制逻辑的广泛的可靠性。今后的研究应该加强对“硬币另一面”的重视, 并进一步探究情绪自动化加工在预测编码框架中的意义和地位。
参考文献
躯体表情与面部表情加工进程比较
Models of brain asymmetry in emotional processing
Conscious awareness is necessary for processing race and gender information from faces
Cortical oscillations and sensory predictions
Event-related potentials to task-irrelevant changes in facial expressions
Event-related potentials to unattended changes in facial expressions: Detection of regularity violations or encoding of emotions?
Attentional enhancement of auditory mismatch responses: A DCM/MEG study
Right hemisphere emotional perception: Evidence across multiple channels
Understanding face recognition
Dysfunction of processing task-irrelevant emotional faces in major depressive disorder patients revealed by expression-related visual MMN
Silent expectations: Dynamic causal modeling of cortical prediction and attention to sounds that weren’t
Surfing uncertainty: Prediction, action, and the embodied mind
Whatever next? Predictive brains, situated agents, and the future of cognitive science
Developmental trajectory of mismatch negativity and visual event-related potentials in healthy controls: Implications for neurodevelopmental vs. neurodegenerative models of schizophrenia
Women’s aggression,Aggression and Violent Behavior
Emotion-related visual mismatch responses in schizophrenia: Impairments and correlations with emotion recognition
Visual mismatch negativity and categorization
Unnoticed regularity violation elicits change-related brain activity
Automatic change detection of emotional and neutral body expressions: Evidence from visual mismatch negativity
Elementary sensory deficits in schizophrenia indexed by impaired visual mismatch negativity
Processing of pleasant information can be as fast and strong as unpleasant information: Implications for the negativity bias
A theory of cortical responses
Hierarchical models in the brain
The free-energy principle: A unified brain theory
Dynamic causal modeling of the response to frequency deviants
Bayesian mapping reveals that attention boosts neural responses to predicted and unpredicted stimuli
Measuring affective reactivity in individuals with autism spectrum personality traits using the visual mismatch negativity event-related brain potential
Hierarchical prediction errors in midbrain and basal forebrain during sensory learning
Is there pre-attentive memory-based comparison of pitch?
Catecholaminergic regulation of learning rate in a dynamic environment
A hierarchy of time-scales and the brain
Unintentional temporal context-based prediction of emotional faces: An electrophysiological study
Visual mismatch negativity and its importance in visual cognitive sciences
Facial emotion perception in schizophrenia: A meta-analytic review
A computational analysis of the neural bases of Bayesian inference
Facial expression related vMMN: Disentangling emotional from neutral change detection
vMMN for schematic faces: Automatic detection of change in emotional expression
Visual mismatch negativity (vMMN): A review and meta-analysis of studies in psychiatric and neurological disorders
The neural correlates of change detection in the face perception network
Adults with autism overestimate the volatility of the sensory environment
Emotional information processing in mood disorders: A review of behavioral and neuroimaging findings
The neural mechanism underlying the female advantage in identifying negative emotions: An event-related potential study
Female advantage in automatic change detection of facial expressions during a happy-neutral context: An ERP study
Visual mismatch negativity elicited by facial expressions: New evidence from the equiprobable paradigm
Mismatch negativity deficits are associated with poor functioning in schizophrenia patients
Are females more responsive to emotional stimuli? A neurophysiological study across arousal and valence dimensions
Automatic change detection to facial expressions in adolescents: Evidence from visual mismatch negativity responses
Fluid intelligence and automatic neural processes in facial expression perception: An event-related potential study
Three stages of facial expression processing: ERP study with rapid serial visual presentation
Uncertainty in perception and the hierarchical Gaussian filter
Mismatch negativity (MMN), the deviance-elicited auditory deflection, explained
Frequency change detection in human auditory cortex
Object-related regularities are processed automatically: Evidence from the visual mismatch negativity
The mismatch negativity (MMN) in basic research of central auditory processing: A review
“Primitive intelligence” in the auditory cortex
Differences between depressed and nondepressed individuals in the recognition of and response to facial emotional cues
Hierarchical organization of frontotemporal networks for the prediction of stimuli across multiple dimensions
Pavlovian conditioning-induced hallucinations result from overweighting of perceptual priors
Predictive coding in the visual cortex: A functional interpretation of some extra- classical receptive-field effects
The dopaminergic midbrain encodes the expected certainty about desired outcomes
Automatic processing of unattended lexical information in visual oddball presentation: Neurophysiological evidence
Change blindness
Change blindness: Past, present, and future
Neurophysiological modulation of rapid emotional face processing is associated with impulsivity traits
Processing of unattended facial emotions: A visual mismatch negativity study
Visual mismatch and predictive coding: A computational single-trial ERP study
Visual mismatch negativity: A predictive coding view
Synaptic plasticity and dysconnection in schizophrenia
One plus one is less than two: Visual features elicit non-additive mismatch-related brain activity
Neurodynamic studies on emotional and inverted faces in an oddball paradigm
Early cortical responses are sensitive to changes in face stimuli
Visual mismatch negativity in the detection of facial emotions in patients with panic disorder
Unconscious effects of language- specific terminology on preattentive color perception
Repetition suppression and expectation suppression are dissociable in time in early auditory evoked fields
Emotional context facilitates cortical prediction error responses
Cortical coupling reflects Bayesian belief updating in the deployment of spatial attention
Evidence for a hierarchy of predictions and prediction errors in human cortex
ERP comparison study of face gender and expression processing in unattended condition
Neurophysiological and computational principles of cortical rhythms in cognition
A modified oddball paradigm “cross-modal delayed response” and the research on mismatch negativity
Evidence from auditory and visual event-related potential (ERP) studies of deviance detection (MMN and vMMN) linking predictive coding theories and perceptual object representations
Negative bias in expression-related mismatch negativity (mmn) in remitted late-life depression: An event-related potential study
Gender differences in preattentive processing of facial expressions: An ERP study
The dysfunction of processing emotional faces in schizophrenia revealed by expression-related visual mismatch negativity
Visual mismatch negativity elicited by facial expressions under non-attentional condition
