1 引言
瞳孔受自主神经系统支配, 由虹膜括约肌(sphincter pupillae)和开大肌(dilator pupillae)两组对抗的平滑肌控制。瞳孔大小的调节主要通过光反射(light reflex)和心理反射(psycho-sensory reflex)两种方式实现(Beatty & Lucero, 2000)。光反射指光线进入眼睛时, 瞳孔通过收缩或扩张来调节进入眼睛的光量。其中, 环境照明强度是影响瞳孔扩张大小的主要因素, 表现为亮度增强时瞳孔收缩, 亮度降低时瞳孔扩张(Loewenfeld, 1999)。而瞳孔的心理反射是指个体对进入视觉和听觉通道的刺激进行感觉登记(sensory register)后, 大脑对刺激进行认知加工时伴随着瞳孔的扩张或收缩, 此时瞳孔直径的变化可以反映出个体对输入刺激的认知加工过程(Goldinger & Papesh, 2012; Loewenfeld, 1999; Montefinese, Vinson, & Ambrosini, 2018)。已有研究发现, 注意(Unsworth & Robison, 2016)、知觉加工(van & Band, 2013)、情绪(Bayer, Sommer, & Schacht, 2011; Hess & Polt, 1960)、记忆(Bradley & Lang, 2015)等诸多心理活动均会影响瞳孔直径的大小变化。
Wang, Boehnke, Itti和Munoz (2014)为了考察瞳孔心理反射的基本模式, 分别在视、听两通道呈现刺激, 并分析其诱发的4只雄性恒河猴的瞳孔直径变化。结果发现, 无论在视觉还是听觉任务中, 刺激首次呈现的瞬间均会诱发小幅度的瞳孔扩张, 然后迅速收缩, 最后出现大幅度扩张。瞳孔的这种变化模式与瞳孔光反射表现不同, 也被研究者视为瞳孔心理反射的基本反应模式。此外, 该研究还发现, 在基本反应模式的前提下, 认知任务中呈现的目标刺激突显性越强, 瞳孔直径的均值和峰值越大, 瞳孔反应潜伏期(Pupil response onset latency, PROL)越短, 但基本的反应模式不变。
瞳孔的心理反射主要源于大脑皮层激活状态的变化, 瞳孔的直径变化作为大脑唤醒水平的外周标记, 可以反映高级认知加工中神经系统的激活状态(peripheral marker of arousal, Appen, 1993; Mccormick, 1989)。Reimer等(2014)测量老鼠多个脑区细胞膜内电位(intracellular membrane potential)并追踪其瞳孔直径变化, 结果发现, 瞳孔收缩与大脑皮层较低的激活水平和细胞膜内低频振荡有关, 而瞳孔扩张与大脑皮层较高的激活水平有关。Joshi, Li, Kalwani和Gold (2016)通过探索瞳孔心理反射的生理机制发现, 在进行认知加工任务时, 脑皮层网络激活状态首先发生变化, 然后内侧前额叶和眶额皮层发出信号, 蓝斑-去甲肾上腺素系统(locus coeruleus noradrenaline system, LC-NA)释放去甲肾上腺素和胆碱类神经递质。瞳孔变化能够敏感地追踪这些电信号的变化和神经递质的投射(de Gee et al., 2017)。此外, 不同类型的神经活动也会引发瞳孔的特定性反应。例如, Reimer等(2016)发现, 去甲肾上腺素刺激轴突的阶段性活动, 引起瞳孔的快速扩张; 而胆碱神经元轴突的持续活动与瞳孔的持续扩张有关。综上, 瞳孔对脑激活状态的变化反应敏感, 是考察认知加工过程中脑活动的重要通道。
早在1966年, 研究者便开始探索记忆加工过程中的瞳孔变化, 随着研究技术的不断进步, 当代研究取得了丰富的成果, 本文将对记忆加工各阶段中瞳孔变化特点及其心理意义展开介绍和分析。
2 预编码阶段瞳孔变化及对记忆成绩的预测作用
2.1 预编码阶段的瞳孔变化
虽然信息的编码加工在预编码阶段(pre- encoding phase)尚未开始, 但个体仍存在任务准备或难度预期等心理活动, 并引起瞳孔变化。Kahneman和Beatty (1966)首次观测到预编码阶段存在瞳孔直径的变化。他们采用听觉工作记忆任务, 要求被试记住播报的数字, 结果发现, 在数字播放前瞳孔出现大幅度收缩。此外, 当主试提示被试接下来的任务较难时, 瞳孔先在基线振荡基础上轻微扩张, 扩张幅度随预期难度的提高而增加, 然后才发生瞳孔的大幅收缩(Beatty & Lucero-Wagoner, 2000)。
Kucewicz等(2018)将同为空屏呈现的预编码阶段和回忆提取阶段的瞳孔直径进行对比。结果发现, 预编码阶段瞳孔直径显著小于提取阶段; 且预编码阶段的瞳孔直径均值是整个记忆加工各阶段中最小值, 而回忆提取阶段的瞳孔均值是记忆加工各阶段中最大值。此外, 两阶段瞳孔变化规律不同：预编码阶段瞳孔直径在基线水平振荡, 临近刺激呈现时瞳孔迅速发生收缩; 而回忆提取阶段瞳孔直径则从峰值逐步下降(Kucewicz et al., 2018)。与预编码阶段相比, 提取阶段的记忆负荷较高, 并在该阶段前期达到顶峰, 此时瞳孔直径也扩张至峰值。预编码阶段瞳孔收缩现象非常稳定, 但其发生机制尚不明确, 一种潜在的原因可能是被试在固定倒计时期间对刺激呈现的时间点有准确预期造成的, 未来研究中可以将倒计时时长进行随机化设置来加以考察。
2.2 预编码阶段瞳孔收缩幅度与后续记忆表现有关
预编码阶段后期瞳孔收缩幅度可预测记忆成绩。Kucewicz等(2018)发现, 在单词呈现前200 ms, 提取阶段被记住的单词显著小于被遗忘的单词在预编码期间的瞳孔直径, 即被记住的项目在预编码阶段瞳孔收缩程度更大。Starc, Anticevic和Repovš (2017)采用空间位置工作记忆任务也发现了相似现象。在该研究中, 目标刺激呈现前存在2秒注视点提醒被试准备反应。结果发现, 该阶段瞳孔先放大, 刺激呈现前再收缩, 且收缩幅度越大, 空间位置记忆越准确。预编码阶段瞳孔收缩幅度对记忆成绩的预测力可能与内源性注意水平有关。内源性注意由刺激呈现前的注视点或口头提示等线索引起, 可引导注意, 并对后续任务有慢速、持久的作用, 从而引发自上而下的控制性加工(Müller & Rabbitt, 1989)。在记忆任务中, 预编码阶段瞳孔收缩幅度越大, 可能代表了内源性注意的集中程度越高, 高度集中的注意促进了对后续记忆的加工编码, 从而表现出更好的记忆成绩。
3 刺激编码阶段瞳孔扩张影响因素及其预测作用
3.1 编码阶段瞳孔扩张表现及其影响因素
刺激编码阶段又称记忆负载阶段(loading phase), 被试对所呈现的刺激进行感觉登记和编码加工。通常, 在刺激呈现后, 瞳孔逐渐放大, 并在800~1400 ms达到最大(Kucewicz et al., 2018)。这种瞳孔变化与编码加工有关(rehearsed or recirculated items; Kucewicz et al., 2018)。当刺激呈现速度过快导致个体无法进行实时编码时, 瞳孔不出现扩张。在刺激呈现接近结束时, 被试逐渐进入编码状态, 才开始出现瞳孔扩张。这与被试的反思报告一致, 即“刺激呈现时无法及时加工, 临近结束时才开始尝试记忆” (Lacey, 1959)。Kucewicz等(2018)认为, 编码阶段瞳孔的扩张变化表明个体进入创建心理表征(如视觉描绘或单词表征)、主动复习或使用其他学习策略以增强记忆的过程。
在刺激呈现或播放速度适中的记忆任务中, 被试在项目呈现期间可进行实时编码, 此时刺激呈现的过程就是编码加工的过程。研究发现编码阶段瞳孔扩张幅度与编码项目数量、类型和任务难度有关, 主要表现为项目编码数量越多、材料越复杂、任务难度越高瞳孔直径越大(Kagan & Lewis, 1965; Unsworth＆Robison, 2014)。例如, Kahneman和Beatty (1966)发现, 刺激的连续呈现会引发瞳孔持续扩张。他们要求被试记忆连续播报的4~7位数字, 结果发现, 在刺激呈现阶段, 瞳孔直径随着听觉信息播放量的累加而逐渐扩张, 而且要求记忆数字的个数越多, 瞳孔扩张越大; 任务难度也会影响编码阶段瞳孔扩张幅度, 记忆单词比记忆等数量数字引发的编码期瞳孔扩张幅度更大, 听取数字后进行加法运算比单纯数字记忆任务引发的瞳孔扩张幅度更大。在句子理解任务中, Just和Carter (1993)发现, 随着句子复杂性提高, 瞳孔扩张幅度更大。综上, 编码阶段瞳孔扩张幅度可能与任务难度有关, 任务难度越高, 认知努力投入越大, 脑激活水平越高, 引发的瞳孔扩张幅度更大。
3.2 编码阶段瞳孔扩张幅度对提取结果的预测作用及机制
Sanquist, Rohrbaugh, Syndulko和Lindsley (1980)在研究中首次发现, 正确提取与错误提取的项目间的神经机制的差异不只存在于提取阶段, 早在编码阶段已经出现。利用编码期间的神经生理信号可以预测提取阶段的记忆成绩, 这一现象被称为相继记忆效应(subsequent memory effect)。这一结果不仅获得大量脑电结果的支持(Vogelsang, Bonnici, Bergström, Ranganath, & Simons, 2016), 在瞳孔指标上也有体现。Kucewicz等(2018)通过比较回忆阶段正确报告出和未被报告出的单词在编码阶段呈现时瞳孔面积的差异, 发现两种单词刺激呈现后的瞳孔均发生扩张, 且在800~1400 ms达到最大值, 但两种单词瞳孔扩张程度不同, 具体表现为被记住的单词与被遗忘的单词相比, 在刺激呈现期间, 前者比后者的瞳孔面积均值和峰显著增加。除语义记忆任务外, 瞳孔变化还能预测图形知觉任务中无意记忆成绩。Einhäuser, Stout, Koch和Carter (2008)要求被试分别进行内克尔立方体识别(necker cube)、运动结构重建(structure from motion)等知觉竞争任务, 结果发现, 瞳孔直径变化比口头报告更先预测到知觉状态的转换, 且瞳孔扩张程度可以预测被试的决策结果及其对决策结果的记忆(Einhäuser, Koch, & Carter, 2010)。综上, 编码阶段瞳孔扩张程度对语义记忆成绩和图形知觉任务中知觉状态的转变具有预测作用, 瞳孔变化是相继记忆效应的生物标记。
刺激编码阶段瞳孔扩张可以预测随后的记忆成绩, 可能因为瞳孔扩张是注意高度集中的体现。已有研究发现编码阶段瞳孔扩张与目标刺激识别速度相关。在经典的警觉衰退(vigilance decrement)研究中, 研究者采用警报范式(alertness paradigm)要求被试在多个标准音调声音刺激(standard stimuli)中识别偶发音调刺激(deviant stimuli)。结果发现, 被试的警报敏感性随任务时间的延长而下降。研究者认为, 疲劳效应引发了的注意水平下降(Beatty, 1982)。Kristjansson (2009)在警报范式中收集标准音调呈现时的瞳孔直径, 发现标准音调播放时瞳孔反应(峰值潜伏期和扩张速率)可以预测识别偶发刺激的反应时, 即瞳孔反应越小, 反应时越长, 说明编码期间瞳孔扩张幅度的减弱与注意集中水平下降有关。
4 提取阶段瞳孔变化
在编码和提取间的记忆保持阶段(maintaince phase), 为了避免遗忘, 瞳孔持续扩张, 并在口头回忆报告前期达到整个记忆进程中的最高峰。且编码信息量越多, 该峰值越高(Starc et al., 2017)。回忆提取一般包括自由回忆任务和再认任务。自由回忆时要求被试面对空屏对记忆内容进行口头报告; 而再认任务则提供一系列见过的旧项目或未出现过的新项目, 要求被试做新旧判断。
4.1 自由回忆任务中的瞳孔变化
在自由回忆任务的提取阶段, 即负荷卸载阶段(unloading phase), 瞳孔呈现整体收缩、单一项目提取时小幅扩张的变化模式。Kahneman和Beatty (1966)在研究中首次发现该现象, 并得到后续研究者的进一步验证。例如, Võ等(2010)将回忆提取阶段分成前后两段, 发现回忆提取前半段和后半段相比, 瞳孔面积明显减小。在项目层面, Kucewicz等(2018)将提取阶段中回忆期时间窗内(提取出声报告前后各1 s)和回忆期时间窗外的平均瞳孔面积进行对比, 发现回忆期时间窗内瞳孔面积更大。该现象在个体和群体水平均稳定存在, 表现出瞳孔面积在回忆阶段整体缩小, 但在单一项目提取时间窗内小幅扩张的现象(Kucewicz et al., 2018)。自由回忆任务中不呈现刺激, 瞳孔变化仅由长时记忆中信息提取这一单一认知活动引发。瞳孔在整个提取阶段大幅度收缩, 可能与存储项目从记忆缓冲器中释放引起的记忆负荷卸载有关。而单一项目出声提取报告前瞳孔的放大, 可能与知觉、认知和运动准备有关。
4.2 再认任务中瞳孔变化及影响因素
再认任务有新、旧两种刺激呈现, 被试根据呈现刺激和回忆提取结果对比后才能做出新旧判断, 是一种比自由回忆任务更复杂的认知加工过程。旧刺激呈现时人们的瞳孔扩张比呈现新刺激时更加明显, 这种现象被称为瞳孔熟悉效应(familiarity effect)或新旧效应(pupil old/new effect ; Võ et al., 2010)。Gardner, Beltramo和Krkinsky (1975)首次发现再认阶段呈现旧单词比呈现新词时瞳孔直径更大。随后研究者采用无意义字符(consonant trigrams; Gardner et al., 1975)、人脸面孔(Maw & Pomplun, 2004)、物品图片(Otero, Weekes, & Hutton, 2011; Kafkas & Montaldi, 2011)等实验材料均发现了稳定存在的瞳孔新旧效应。
瞳孔新旧效应受诸多因素的影响。第一, 刺激相似性。研究发现个体将新刺激误判为“旧” (虚报)时, 也会发生瞳孔新旧效应(Montefinese, Vinson, & Ambrosini, 2013; Otero et al., 2011), 且新刺激与学习过的单词相似性越强, 瞳孔新旧效应越明显(Montefinese et al., 2018)。Papesh, Goldinger和Hout (2012)采用声音刺激发现同样现象, 主要表现为测试声音与学习声音音色相同时瞳孔新旧效应显著大于音色相似或完全不同的项目。第二, 编码深度。Otero等(2011)通过数单词字母个数设置学习单词的浅层编码条件、形成近义词设置深层编码条件, 发现虽然两种条件下均存在瞳孔新旧效应, 但深层编码的项目瞳孔扩张比率相比浅层编码条件更大。第三, 再认预期。Mill, O’Connor和Dobbins (2016)采用外显记忆线索范式(Explicit Memory Cueing paradigm; O’Connor, Han, & Dobbins, 2010), 在每个再认刺激呈现前为被试提供线索(项目可能是旧/新, “Likely Old”或“Likely New”)来控制被试再认预期。结果发现, 当被试预期为旧时, 瞳孔新旧效应消失, 只有预期为新或在不操控预期的条件下, 瞳孔新旧效应才会出现。Mill等因此将瞳孔新旧效应称为“非预期的再认反应” (unexpected recognition effect)。
4.3 再认识别中瞳孔变化的认知成分
通过分析瞳孔在再认期间随时间变化的趋势, Mill等(2016)发现了两个功能独立的成分：早期振幅成分(early amplitude)与晚期拖尾斜率成分(trailing slope)。早期振幅指识别为“旧”的项目与识别为“新”的项目从刺激呈现后750~1000 ms (或新旧识别反应前450~500 ms)开始出现的瞳孔直径差异, 这种差异一直持续到识别反应后1500 ms左右, 其中, 在刺激呈现后1000 ms时达到最大。而晚期拖尾斜率指再认探测刺激出现1500 ms以后, 瞳孔直径从峰值降回基线的斜率。该斜率越负, 表明瞳孔收缩速度越快; 更正则表现为瞳孔没有迅速收缩, 瞳孔直径在峰值处徘徊或缓慢下降。
早期振幅成分可以考察再认识别中的新旧效应, 表现为识别为“旧”的项目不仅比识别为“新”的项目瞳孔直径更大, 而且其瞳孔扩张斜率也更大。另外, 瞳孔在再认反应中的早期振幅的心理意义与再认决策两阶段加工理论有一致性(Whittlesea & Williams, 1998; 2001)。再认加工分为刺激的知觉加工和对输入刺激的评估。在刺激输入后个体会根据回想对刺激进行记忆效果的评估或自信心等级判断, 即元认知监测过程(Nelson, 1990), 这种自信心水平的差异也可以体现在早期振幅上。如Papesh等(2012)要求被试听取单词并记忆, 并要求被试在再认阶段进行刺激的新旧判断, 以及自信心程度判断。结果发现, 信心等级越高, 瞳孔扩张越明显(Papesh et al., 2012)。
而晚期拖尾斜率成分与再认识别的决策确定性有关。Mill等(2016)通过对比击中和虚报项目瞳孔变化的差异, 发现虽然两者都存在瞳孔新旧效应的早期成分, 但在瞳孔达到峰值后回归基线大小的时间及下降斜率存在明显差异。在判断时, 击中的项目比虚报的项目瞳孔下降斜率更负, 瞳孔直径更快回归基线水平。此前, 诸多行为研究已证明, 虚报反应速度比击中反应更慢、自信心更低(Ratcliff & Murdock, 1976)。Mill等(2016)通过多层建模(Multi-level modeling, MLM)分析发现, 再认阶段瞳孔拖尾斜率可预测再认反应时和正确率。再认反应时越短、正确率越高、决策和预期越不一致时, 拖尾斜率由正转负, 或负性增强。该结果与认知冲突和不确定性引发的瞳孔扩张类似(Laeng et al., 2011), 即再认反应时与预期一致性、自信度有关。因此, 拖尾斜率与自上而下的认知努力(voluntary effort)和不确定性(uncertainty)有关, 越不确定、越需要认知努力来进行判断的项目拖尾斜率越偏正向。
5 记忆任务中瞳孔反应的相关理论
5.1 瞳孔变化的认知负荷理论
认知负荷理论认为瞳孔变化是认知负荷增减的直接反映(Cognitive Load model; Wel & Steenbergen, 2018)。根据该理论, 瞳孔反应作为外周神经信号会随着认知负荷的增加而扩张, 扩张程度与自上而下的注意资源分配和主观努力程度有关(Beatty, 1982; Kahneman, 1973; Kahneman & Beatty, 1966)。研究者借助认知神经科学技术也发现, 当任务需求增加时, 蓝斑-去甲肾上腺素系统活动增强, 神经递质释放得到增强, 从而瞳孔扩张(Goldinger & Papesh, 2012), 这一结果为认知负荷理论提供了神经生理学证据(Laeng et al., 2011; Steenbergen & Band, 2013)。
认知负荷理论认为记忆各阶段中瞳孔扩张和收缩反映各阶段认知负荷的变化(Janisse, 1977)。主要表现为, 刺激呈现后瞳孔随着编码负荷的增加而扩张(Beatty & Kahneman, 1966; Karatekin, 2004), 完成编码后经由干扰阶段到最后的回忆阶段, 存储的信息需抵抗遗忘并进行保持, 记忆保持难度随间隔时间延长逐渐增加, 在回忆阶段初期瞳孔达到记忆任务全程中最大(Verney, Granholm, & Marshall, 2004)。认知负荷理论得到了研究者的广泛认可, 诸多研究者利用认知负荷的变化解释瞳孔的心理反射。
然而, 认知负荷理论仍然无法解释某些记忆现象。例如, 认知负荷理论认为瞳孔对新旧反应的扩张程度不同反映了命中与正确拒斥所需认知努力的差异(Goldinger & Papesh, 2012; Papesh et al., 2012; Võ et al., 2010)。瞳孔新旧效应的产生是由于回忆旧项目需要更大认知努力, 个体需要检索关于项目在编码学习阶段呈现的项目的背景信息, 而识别新刺激则无需这种努力导致的(Gardner et al., 1975; Võ et al., 2010)。然而, 先前诸多行为研究证实, 高认知资源需求任务会导致错误率提高(Dobbins & Han, 2007)、反应速度减慢(Wiese & Daum, 2006)及自信心降低(Jaeger, Cox, & Dobbins, 2012)。这一系列行为表现与眼动追踪研究中的发现不一致, 因为在再认判断时的更大幅度的瞳孔扩张往往伴随反应速度更快、自信心更高(Ratcliff & Murdock, 1976)。此外, Otero等(2011)通过操控编码深度也发现经由深编码的项目比浅编码项目更易被提取, 深编码项目所需要的提取努力更小。根据认知负荷理论, 提取越容易的项目认知负荷越小, 所产生的瞳孔直径也更小, 然而实际结果却发现, 深编码项目瞳孔新旧效应更明显。另外, 研究者发现情绪效价对瞳孔大小产生影响也与认知努力无关(Granholm & Steinhauer, 2004)。综上, 新旧效应的产生并非因旧项目识别所需认知负荷更多, 认知负荷理论并不能完全解释当前记忆研究中发现的瞳孔变化。
5.2 瞳孔扩张的定向反应理论
认知负荷理论强调自上而下(top-down)或自主式(voluntary)的注意资源分配。而定向反应理论强调自下而上的(down-top)或自发式(involuntary)的注意资源分配(Friedman, Hakerem, Sutton, & Fleiss, 1973; Hillyard, Squires, Bauer, & Lindsay, 1971)。对于瞳孔在记忆加工中的反应, 定向反应理论认为, 由预料之外的刺激引发的瞳孔扩张与认知努力无关(Kahneman, 1973)。例如, 在Oddball范式中, 当在标准刺激序列中出现非预期刺激时, 会引发P300成分及瞳孔放大现象(Friedman et al., 1973; Hillyard et al., 1971)。
Mill等(2016)采用定向反应理论解释了再认阶段的瞳孔变化现象, 并认为瞳孔反应存在自动加工成分(involuntary component)。当被试对刺激预期为新, 实际呈现却为旧刺激时, 被试在长时记忆中意外检索到与项目相关的情景记忆信息, 此时会引发预料之外提取定向反应, 其表现与自发定向注意引发瞳孔反应表现一致。因此瞳孔新旧效应是由未预期的且被成功提取的旧刺激引发的定向瞳孔反应引起的。此外, 功能成像研究也发现, 当加工非预期记忆内容时, 自下而上注意相关脑区被激活, 也支持了这一假设(Cabeza, Ciaramelli, Olson, & Moscovitch, 2008; O’Connor et al., 2010)。
研究者通过操控再认预期, 支持了定向反应理论。但不能否认新旧反应加工也存在认知负荷差异, 瞳孔新旧效应可能由自上而下的认知努力和自下而上的定向反应共同影响而引发的现象。换言之, 定向反应理论认为瞳孔新旧效应是呈现在预期之外的旧项目引发了更多的注意资源投入, 而这种投入是否也可视为一种认知负荷有待进一步的研究讨论。因此, 两种理论对瞳孔扩张的解释并非完全对立。
6 先前研究问题及未来展望
在记忆加工研究中, 瞳孔信号与脑神经信号的结果较一致, 但各有优势, 相辅相成。第一, 两种信号在各记忆任务阶段中的变化趋势具有一致性。例如, 在预编码阶段, 瞳孔收缩, γ信号也降低; 在刺激编码阶段, 瞳孔逐渐扩张, 而γ信号也增强(Kahneman & Beatty, 1966; Kucewicz, 2018)。第二, 以往诸多研究采用电生理学方法或神经成像技术, 发现电生理信号的相继记忆效应(Kahana, 2006), 且与瞳孔变化预测模式相似。如, Ezzyat等(2017)利用机器学习, 要求被试进行自由回忆任务, 结果发现在单词呈现之前伽马频带功率下降, 编码时被记住的单词比被遗忘的单词伽马频带功率更高。第三, 以往研究常采用ERP指标考察再认任务的新旧效应, 正确判断为旧的刺激比正确判断为新的刺激会引发更正的波幅(Allan & Rugg, 1997; Inaba, Nomura, & Ohira, 2005; Johnson, 1995; Kim, 2011), 这与瞳孔新旧效应的结果类似。
然而, 记忆研究中脑神经信号的结果缺乏一致性。例如, 相继记忆效应研究中, 脑机制各指标间潜伏期和差异量的结果尚不统一, 可能是由于fMRI信号时间分辨率有限、电生理信号的潜伏期因分析脑区和频带的不同导致。另外, 脑电信号在空间分辨率上存在明显劣势。相较而言, 瞳孔追踪技术在记忆研究中的结果较为稳定, 并且具备高时空分辨率和技术操作简便性等优越性(Granholm & Steinhauer, 2004), 与当前使用的脑神经信号测量法相辅相成。虽然如此, 采用瞳孔大小作为记忆加工生物标记的研究仍存在以下诸多问题。
6.1 瞳孔指标测量和计算方法尚未达成一致
瞳孔大小随认知加工过程的进行不断变化, 平均瞳孔大小也因人而异, 因此寻找合适和准确的瞳孔测量方式十分重要。但是, 当前对瞳孔的测量和计算方法尚未达成统一观点。大多研究者采用基线法, 例如任务态瞳孔反应(task evoked pupillary responses, TEPRs)等。Beatty和Lucero (2000)量化了TEPRs参数标准, 通过从事件前的指定时间段获取瞳孔直径均值来计算基线, 再用从反应开始到结束的时间段内的瞳孔直径值减去该基线, 产生一组差值, 再计算各实验条件下被试的平均值, 生成每个任务条件的平均波形。进而从TEPRs波形量化三个参数, 即瞳孔扩张均值、扩张峰值和峰值潜伏期。一般而言, 基线由条件内非刺激呈现时期的瞳孔直径总平均值(grand averaging)求得(Ariel & Castel, 2014)。为了提高数值敏感度, 可以使用单试次基线, 即以单个试次前特定无任务阶段瞳孔值作为基线(single TEPRs)。
TEPRs并非统一的标准化方法, 很多研究者也采用了多样化指标。例如Otero等(2011)使用瞳孔扩张率(pupil dilation ratio)作为瞳孔测量的指标, 将2000 ms分为前250 ms和后1750 ms两个时间段, 取两时间段内瞳孔像素面积峰值, 用后1750 ms的瞳孔面积峰值比前250 ms的瞳孔面积峰值得到扩张率作为每个试次认知加工的瞳孔扩张率。当前研究中对瞳孔大小采集、运算方法尚未统一, 许多研究之间的结果无法进行直接对比, 未来研究者可以尝试比较同一研究现象之间不同计算方法下的结果, 来探讨采集和运算方法的不同是否会造成研究结果的差异性。
6.2 部分记忆研究中瞳孔追踪结果存在冲突
由于实验材料选取的差异、呈现方式或条件设置的不同, 当前瞳孔在记忆研究中发现也并不完全一致, 其原因有待进一步的探索。如Kafkas和Montaldi (2011)采用RK范式(remember/ know task), 要求被试对图片进行无意学习和元认知判断。在图片呈现期间采集被试的瞳孔直径, 然后进行再认和RK任务, 对识别为旧的项目进一步进行熟悉(familiarity)和回想(detailed recollection)的分离。结果发现, 熟悉和回想项目间瞳孔大小无差异, 随着记忆强度升高, 瞳孔直径在编码阶段越小。记忆强度越高的项目, 在编码阶段瞳孔直径越小。该结果与瞳孔相继记忆效应的经典发现不一致, 并未发现不同元记忆监测水平的瞳孔大小差异。
与其他研究相比, Kafkas和Montaldi (2011)设置无意学习条件, 与有意学习的神经基础不同(Kapur et al. 1996), 该设置会减小记忆加工引发的瞳孔TEPRs。此外, 视觉和听觉呈现刺激引发的瞳孔变化趋势虽然一致, 但听觉刺激引发的瞳孔变化幅度明显比视觉刺激大(Klingner et al. 2011)。一种解释是由于视觉刺激编码时存在双机制, 既有编码加工机制, 又有视觉识别的自然生理反射机制; 另一种解释是解读听觉刺激时需要更多的认知资源(Papesh & Goldinger, 2015)。综上, 当前在记忆加工中瞳孔变化存在不一致的研究发现, 反应规律的一致性是否源于实验条件的相似性还有待考察, 不同实验条件设置造成的心理机制差异尚有待探索。
6.3 记忆任务中瞳孔的认知成分复杂且缺乏分离
尽管有充分的证据表明认知努力对瞳孔大小变化有影响, 但记忆加工过程中瞳孔变化与认知资源投入之间的关系并不明确。例如, 虽然预编码阶段和编码阶段瞳孔变化都可预测自由回忆成绩(Starc et al., 2017), 但两个阶段中的瞳孔缩放方向相反, 预编码阶段瞳孔直径越小, 回忆可能性越大; 而编码阶段瞳孔直径越大, 回忆可能性越大。目前研究者将两种不同的瞳孔变化均解释为是注意资源投入所引起的, 但导致其产生差异的原因尚不明确, 是否因为内源性注意的指向与编码阶段认知资源投入在大脑中的神经活动机制的不同造成需要进一步探讨。
除Mill等(2016)从定向反应的角度解释瞳孔新旧效应产生原因外, 有研究者提出记忆加工任务中的瞳孔反应可能与瞳孔的生理特点有关。如Kahneman和Beatty (1966)发现同一个实验多次重复会降低瞳孔的反应强度, 一种解释是这种现象与在重复中认知加工难度逐渐降低有关。但也有研究者认为反复呈现相同的刺激会产生神经适应性, 进而减弱刺激诱发的瞳孔反应(Netser, Ohayon, & Gutfreund, 2010; Steiner & Barry, 2011)。还有研究者提出, 记忆加工中的瞳孔反应是由情绪唤起造成的, 编码加工任务越难, 个体往往越紧张, 瞳孔扩张越明显(Papesh & Goldinger, 2015)。瞳孔变化是由单一认知努力或情绪唤醒等中介变量引起, 存在多种尚不明确认知成分, 记忆任务引发的瞳孔变化中如何分离生理成分也是未来研究的重难点。
6.4 记忆加工的瞳孔反应应该与电生理学测量结果进行比较
有研究探讨颅内电生理信号与记忆加工之间的关系, 发现某些电信号与眼球运动变化直接相关。例如低频振荡中的相位复位24和高频振荡发生率的增加, 称为尖波涟漪(sharp-wave ripple), 该信号与记忆成绩以及记忆信息刺激下的眼球运动有关(Leonard & Hoffman, 2017)。啮齿动物研究发现, 脑的唤醒和注意水平与海马的尖波涟漪、瞳孔的扩张有关(Reimer, et al., 2014), 注视刺激时大脑产生的尖波涟漪可以预测后续记忆成绩(Leonard & Hoffman, 2017)。然而, 当前尚未对尖波涟漪的出现与瞳孔变化之间的关系进行研究, 未来研究可以在记录将颅内患者的电信号记录的同时配合瞳孔追踪, 以实现记忆加工的瞳孔反应和电生理学测量的指标直接比较。当前在灵长类动物的研究中发现了电生理指标和眼动指标的一致性, 但这些研究的重点是注视点追踪而不是瞳孔变化(Jutras, Fries, & Buffalo, 2013)。
明确眼动追踪和电生理测量之间的关系, 对于记忆脑机制的多角度探究至关重要。未来研究可以同时采集人脑高频电信号和高分辨率眼动追踪信号, 例如, 结合EEG和瞳孔追踪技术对相继记忆效应和新旧效应等记忆现象进行研究(Rugg & Allan, 2000)。此外, 当前研究尚未探讨记忆加工的其他潜在的眼动追踪指标, 如注视时间或视觉目标的眼跳速率。这些生理指标和电生理学测量信号研究匮乏, 需要在不同记忆任务中进行重复验证。
参考文献
An event-related potential study of explicit memory on tests of cued recall and recognition
Archives of Ophthalmology
Eyes wide open: Enhanced pupil dilation when selectively studying important information
Emotional words impact the mind but not the body: Evidence from pupillary responses
Phasic not tonic pupillary responses vary with auditory vigilance performance
The pupillary system
Memory, emotion, and pupil diameter: Repetition of natural scenes
The parietal cortex and recognition memory: An attentional account
What constitutes a model of item-based memory decisions?
Pupil dilation betrays the timing of decisions
Pupil dilation reflects perceptual selection and predicts subsequent stability in perceptual rivalry
Direct brain stimulation modulates encoding states and memory performance in humans
Effect of stimulus uncertainty on the pupillary dilation response and the vertex evoked potential
Pupillary changes during encoding, storage, and retrieval of information
Pupil dilation reflects the creation and retrieval of memories
Pupillometric measures of cognitive and emotional processes
Pupil size as related to interest value of visual stimuli
Evoked potential correlates of auditory signal detection
Neural evidence of effects of emotional valence on word recognition
Recognition confidence under violated and confirmed memory expectations
Pupillometry: The psychology of the pupillary response.
Event-related potential insights into the neurobiology of memory systems
Relationships between pupil diameter and neuronal activity in the locus coeruleus, colliculi, and cingulate cortex
The intensity dimension of thought: Pupillometric indices of sentence processing
Oscillatory activity in the monkey hippocampus during visual exploration and memory formation
Studies of attention in the human infant
The cognitive correlates of human brain oscillations
Pupil diameter and load on memory
Development of attentional allocation in the dual task paradigm
Neural activity that predicts subsequent memory and forgetting: A meta-analysis of 74 fMRI studies
Detecting phasic lapses in alertness using pupillometric measures
Pupil size reflects successful encoding and recall of memory in humans
Psychophysiological approaches to the evaluation of psychotherapeutic process and outcome
Sharp-wave ripples in primates are enhanced near remembered visual objects
Cholinergic and noradrenergic modulation of thalamocortical processing
Pupil dilation during recognition memory: Isolating unexpected recognition from judgment uncertainty
The ‘subjective’ pupil old/new effect: Is the truth plain to see?
Recognition memory and featural similarity between concepts: The pupil’s point of view
Reflexive and voluntary orienting of visual attention: Time course of activation and resistance to interruption
Metamemory: A Theoretical Framework and New Findings
Multiple manifestations of microstimulation in the optic tectum: Eye movements, pupil dilations, and sensory priming
The inferior parietal lobule and recognition memory: Expectancy violation or successful retrieval?
Pupil size changes during recognition memory
Pupillometry and memory: External signals of metacognitive control
Memory strength and specificity revealed by pupillometry
Retrieval processes in recognition memory
Pupil fluctuations track fast switching of cortical states during quiet wakefulness
Pupil fluctuations track rapid changes in adrenergic and cholinergic activity in cortex
Event-related potential studies of memory
Electrocortical signs of levels of processing: Perceptual analysis and recognition memory
Fine-grained versus categorical: Pupil size differentiates between strategies for spatial working memory performance
Pupillary responses and event-related potentials as indices of the orienting reflex
Pupillary correlates of lapses of sustained attention
Pupil dilation in the Simon task as a marker of conflict processing
Goal-directed mechanisms that constrain retrieval predict subsequent memory for new “foil” information
The coupling of emotion and cognition in the eye: Introducing the pupil old/new effect
Transient pupil response is modulated by contrast-based saliency
Pupil dilation as an index of effort in cognitive control tasks: A review
Why do strangers feel familiar, but friends don’t? A discrepancy- attribution account of feelings of familiarity
The discrepancy-attribution hypothesis: I
