1 引言
视觉工作记忆(Visual Working Memory, VWM)是一个能够对视觉信息进行短暂的存储, 并且支持各种在线认知操作的记忆系统(Baddeley, Cocchini, Della, Logie, & Spinnler, 1999; Ma, Husain, & Bays, 2014)。基于这种双重功能(存储和操作), VWM能够作为一个连接人类视觉感知与深层次认知加工的桥梁, 并促进对视觉场景形成连贯的理解。尽管VWM被视为人类认知的中枢, 但其受制于有限的存储容量(Awh, Barton, & Vogel, 2007; Ye, Zhang, Liu, Li, & Liu, 2014; Zhang & Luck, 2008)。因此, 致力于理解VWM的容量有限机制一直被视为VWM领域的核心议题。关于VWM的存储机制, 研究者们有着不同的假设。插槽模型认为, VWM内部存在有限数量的“插槽”, 其存储一组有限的、离散的、固定精度的表征(Luck & Vogel, 1997; Vogel, Woodman, & Luck, 2001)。VWM的资源模型则认为, VWM的信息存储基于一种有限并连续的资源池。在这个视角下, 可以把资源分
配给少量的VWM项目, 并形成高精度的表征; 也可以把资源切分给尽可能多的项目, 但这些项目只能以较低的精度存储(Bays & Husain, 2008; Wilken, 2008)。然而, 在对多个不可见的表征进行有效维持之前, 还存在多个加工阶段。首先是对视觉信息进行感知登记, 这是在编码阶段完成。随后, 这些不稳定的感觉信息需要被巩固到视觉工作记忆的缓冲区内(Ballard, Hayhoe, & Pelz, 1995), 通过巩固, 不稳定的感觉表征才能被顺利转化为稳定的视觉工作记忆表征(Jolicœur & Acqua, 1998; Nieuwenstein & Wyble, 2014; Ricker, 2015)。因此, 巩固过程将直接决定哪些信息能够被进一步的存储及操作(Droll, Hayhoe, Triesch, & Sullivan, 2005; Triesch, Ballard, Hayhoe, & Sullivan, 2003)。
然而, 早期的一些研究者并不认为存在巩固这一加工过程, 而把巩固认为是语音复述和注意刷新的代名词。但后期的一系列证据则显示, 阻止语音复述后不会影响巩固加工, 与注意刷新亦是不同的加工过程(Bayliss, Bogdanovs, & Jarrold, 2015; Stevanovski & Jolicœur, 2007)。虽然研究者们已经基本认同巩固加工在整个VWM系统中的门控作用, 但在具体的术语表述上仍然存在差异。例如, 一部分研究者仍使用视觉工作记忆巩固这一概念(Stevanovski & Jolic, 2011; Vogel, Woodman, & Luck, 2006), 而另一部分研究者则将这一过程称作视觉短时记忆巩固(Jolicœur & Acqua, 1998; Stevanovski & Jolicœur, 2007), 或者工作记忆巩固(Nieuwenstein & Wyble, 2014; Ricker, Hardman & Hardman, 2017)。在本文中, 笔者将统一使用视觉工作记忆巩固(Visual Working Memory Consolidation)这一术语。尽管在表述上有细微的不同, 但在操作性定义上, 不同研究者之间基本一致。这表现为两点, 其一, 在具体的实验操作中, 尽管记忆材料可能以不同的形式呈现, 如字母、色块或是复杂图形, 但研究者关注的始终是对视觉信息的巩固。而为了保证巩固加工是在视觉层面上运行, 实验中可能出现的语义编码都会被有效的控制。其二, 研究者们均将巩固定义为将脆弱的感觉表征转化为稳定的视觉工作记忆表征的过程。
基于以上共同的认知, 一些实验室已经发展出不同的测量范式探讨巩固的时程及产生机制, 如注意瞬脱范式、双任务范式、带掩蔽的变化觉察范式、回溯干扰范式。不同范式所提供的证据虽然推动了对巩固的认识, 但它们在阐述巩固的时程方面却存在较大争议。如一些研究者发现, 短至50 ms就能完成巩固(Vogel et al., 2006)。而另一部分研究者则认为, 需要400~1600 ms才能结束巩固进程(Nieuwenstein & Wyble, 2014; Stevanovski & Jolicœur, 2007; Wyble, Bowman, & Nieuwenstein, 2009; Wyble, Potter, Bowman, & Nieuwenstein, 2011)。不仅仅是时间进程, 视觉工作记忆的巩固还涉及其它尚不清晰的加工机制。如一些研究证据显示, 巩固需要的时间随着记忆项目数量的增加而变长(Jolicœur & Acqua, 1998; Vogel et al., 2006; West, Pun, Pratt, & Ferber, 2010)。然而, 对于这一现象背后所遵循的巩固模式, 目前还缺乏统一的观点。
回答上述问题需要系统地梳理来自各方的证据。为此, 本文首先对比了在不同实验范式下获得的关于巩固时程的研究证据。这有助于理清不同范式在探讨巩固时程时所存在的异同点, 进而试图揭示各研究证据间的差异根源。随后, 本文分别阐述并对比了VWM巩固模式的几个主流观点, 并对影响巩固模式的因素进行了系统的梳理。鉴于“功能决定形式” (Sullivan, 1986), 本文也试图从视觉工作记忆巩固运行的理论机制上去理解巩固过程中产生的不同效应, 并对其背后可能存在的神经机制进行推测。这有助于深入了解巩固在整个视觉工作记忆加工进程中的作用。在展望部分, 围绕该领域依然存在的关键争议及问题, 本文进一步提出一些可供未来研究参考的切入点。
2 视觉工作记忆巩固的时程
2.1 主要研究范式及巩固时程
视觉工作记忆巩固加工这一概念产生于注意瞬脱的研究中。Chun和Potter (1995)首次指出注意瞬脱可能反映了巩固的时间进程。在他们的实验中使用快速序列呈现范式(rapid serial visual presentation, RSVP), 给被试呈现一系列由数字和两个字母构成的视觉刺激流, 要求被试记住刺激流中出现的字母, 并在视觉刺激流呈现完后报告出两个目标字母。实验的关键调控是在第一个出现的字母T1和第二个出现的字母T2之间设置不同的时间间隔。结果显示, 当T2在T1之后200~ 600 ms期间出现时, 被试无法报告出T2。这一效应被称为注意瞬脱效应。基于这一效应, 一些研究者在使用RSVP任务对视觉工作记忆巩固进行研究时, 也将其称为注意瞬脱范式(Vogel & Luck, 2002;Akyürek, Leszczyński, & Schubö, 2010)。目前, 很多注意瞬脱的模型认为, 无法报告出T2的原因是由于T1的巩固未完成, 从而导致对于T2的巩固失败(Chun & Potter, 1995; Vogel & Luck, 2002)。根据这一逻辑, 个体完成巩固所需要的最短时间可以通过观察注意瞬脱消失的时间间隔来进行测量。反映在结果上即是, 报告T2的正确率提升并趋于稳定的时间点。由已有研究结果可以得出结论, 巩固T1完成的时间大约是500 ms (Giesbrecht & DiLollo, 1998; Isaak, Shapiro, & Martin, 1999)。
除了使用RSVP范式对巩固过程进行研究外, 双任务范式也被广泛地应用于巩固时程的测量。在双任务范式中, 最初的一些研究先呈现一系列字母集, 要求被试进行记忆(视觉工作记忆任务, T1), 之后呈现或高或低的音调刺激要求被试进行辨别(听觉辨别任务T2, 听到声音后立即按键报告高低音), 最后, 再要求被试回忆出之前记忆的字母。研究者通过操纵两个任务之间的时间间隔, 考察T1对T2的辨别反应时的影响。Jolicoeur和Acqua (1998)使用该范式发现, 当视觉呈现(记忆字母)和音调任务之间的延时很短时(330~550 ms), 对第二个任务进行判断的反应时会显著变慢, 证实了对于第二个任务的反应有一个心理不应期。但是随着T1和T2之间间隔时间的增加, 对于T2的反应时变快, 最后在550 ms之后不再变化。研究者认为, 550 ms是T1不影响T2反应时的最短时间间隔, 可以被看做是T1的视觉工作记忆巩固完成的时间。而当被试在第一个任务中需要记忆更多的字母时, 所需的巩固时间会显著地增加。后续有研究者将Jolicoeur和Acqua (1998)的记忆材料换成颜色刺激(Stevanovski & Jolicœur, 2007), 也得到了相同的结果模式。
总的来说, 通过在注意瞬脱和双任务范式中的研究可知, 巩固过程依赖于注意。在巩固记忆项目的同时, 其他需要注意的任务将被延迟。在测量巩固完成的时间时, 研究者正是利用这一特性, 在T1和T2之间设置不同的时间间隔, 以T2的正确率或者反应时不再发生改变的时间认为是T1巩固完成所需要的时间。
然而, 通过测量T1任务对T2任务的干扰来对巩固时程进行研究, 这从本质上讲还是一种间接的手段。为了能够更直接地测量巩固的时程, 一些研究者尝试通过带掩蔽的变化觉察范式来实现。这一范式的重要假设是, 在记忆阵列后呈现的掩蔽刺激将打断正在进行的记忆巩固。在这一假设下, 通过改变记忆阵列和掩蔽刺激之间的SOA (stimulus onset asynchrony), 找到记忆任务成绩不被影响的最短时间间隔即可作为巩固完成的时间。如在Vogel, Woodman和Luck (2006)的实验中, 记忆项目的数量以及SOA被系统地操纵。他们发现, 记忆任务的正确率随SOA的增加而逐渐提高, 直至达到渐近线, 不再发生改变。同时, 记忆阵列的项目数越多, 达到渐近线的时间也随之变长。这表明, 巩固时程随着记忆项目数的增加而增加, 这与Jolicœur和Acqua (1998)的研究结果一致。Vogel等人(2006)也对视觉工作记忆巩固的时间进程做了一个初步的估计, 他们认为巩固一个颜色项目的时间大约需要50 ms。这个结果比注意瞬脱范式及双任务范式下观察到的巩固时间快得多。然而, 在他们的研究中, 巩固每个颜色项目的时间是按照每次只能巩固一个项目的假设来进行计算的。但是, 对于项目的巩固, 也可能是几个项目被同时巩固。如果是这样, 那么现有的计算方式就可能高估了巩固一个项目所需要的时间, 而真正巩固一个色块的时间可能比50 ms更短。
值得注意的是, Nieuwenstein和Wyble (2014)认为, 带掩蔽的变化觉察范式的前提假设可能不成立。他们采用一种全新的回溯干扰范式发现, 在掩蔽之后巩固仍然会继续, 并持续数百毫秒。在记忆阵列消失后, 他们先使用掩蔽打断对于记忆阵列(记忆4个字母)的加工, 并在随后呈现一个二项迫选(2-alternative forced choice, 2-AFC. 呈现数字, 要求被试判断奇偶)任务。他们猜想, 如果掩蔽未能阻断记忆巩固, 则巩固加工仍然持续。此时呈现的2-AFC任务将会干扰这一进程, 并且这种干扰将会随着掩蔽刺激与2-AFC任务之间SOA的增加而逐渐消失。相反, 如果巩固在掩蔽出现之前已经完成, 或是终止(Gegenfurtner & Sperling, 1993; Vogel et al., 2006), 那么2-AFC任务的出现将不会干扰巩固。结果显示, 尽管经历了掩蔽的打断, 但记忆成绩仍受2-AFC任务的干扰。这说明在掩蔽之后, 巩固过程仍然在继续, 并且整个过程需要1000 ms才能完成(1000 ms后2-AFC任务的干扰才消失)。在实验二中, 他们使用相同的范式, 将记忆项目换成了无法用语音编码的特殊字符, 结果显示对于单个字符的巩固需要至少1600 ms才能完成。
2.2 存在差异的原因
通过对各个实验范式的阐述和分析, 我们了解到, 尽管各个实验范式对巩固的测量采用了相同的操作性定义, 但由于逻辑基础不同, 导致所测量到的巩固时程存在较大的差异。在具体设计上, 除了记忆材料存在差异外, 笔者认为, 各个实验范式所涉及的心理加工过程不一致, 也可能是造成差异的原因。
如在典型的双任务范式和注意瞬脱范式中, 一共呈现两个任务。研究者通过第二个任务在反应时或正确率上的变化, 来对巩固完成的时间进行量化。然而, 使用这些范式时, 可能对编码过程和巩固过程产生混淆。在视觉工作记忆中, 这两个加工过程都是在项目呈现后立即发生, 并一直持续, 直到项目成功储存在视觉工作记忆中。编码是对视觉信息进行快速检测和识别的过程(Duncan, 1983), 而巩固是在编码之后执行的过程(Jolicœur & Acqua, 1998; Nieuwenstein & Wyble, 2014), 能够使得信息不被干扰或遗忘。即便可见的物理刺激消失, 巩固进程仍然会持续。考虑到编码和巩固的连续性, 如果不对这两个过程进行区分, 那么最后将无法确定测得的是哪一个加工过程(Ricker, 2015)。在双任务范式和注意瞬脱范式中, 我们发现, 并没有对这两个过程进行有效区分。因此, 这些范式得到的巩固时程可能是编码及巩固阶段的加和, 而非单纯的巩固时间。该视角似乎也解释了为什么相对于带掩蔽的变化觉察范式, 由这两种范式所测得的巩固时间会较长。
在带掩蔽的变化觉察范式下, 其基本逻辑是：编码过程在掩蔽刺激呈现之前已经结束。因此, 可以利用随后呈现的掩蔽刺激打断巩固进程。然而, 对于感觉记忆的编码可能会持续很长的时间(Pinto, Sligte, Shapiro, & Lamme, 2013; Sligte, Scholte, & Lamme, 2008)。按照这一观点, 掩蔽刺激阻断的可能是还在进行的编码过程。因此, 一些研究者也提出, 在带掩蔽的变化觉察范式下所测得的巩固可能并不是真正的巩固, 而是在巩固之前更早的视觉编码加工阶段(Stevanovski & Jolicœur, 2007)。如果是这样, 在该范式下测得巩固时间(50 ms, Vogel et al., 2006)可能仅仅是编码该项目所需要的时间。遗憾的是, 该观点尚缺少明确的实验证据(Liu & Becker, 2013; Miller, Becker, & Liu, 2014; Rideaux, Apthorp, & Edwards, 2015; Rideaux & Edwards, 2016)。
在回溯干扰范式中, 研究者先对记忆项目进行掩蔽, 随后执行一个2-AFC任务。由于掩蔽的出现可以覆盖感觉后像和感觉记忆痕迹(Saults & Cowan, 2007), 因此将起到终止编码阶段的作用。随后的2-AFC任务将只能够干扰余下的巩固进程。此时则可以通过2-AFC任务的反应时变化, 对巩固过程进行测量。此外, 回溯干扰范式相较于之前的注意瞬脱范式和双任务范式有了更大突破。在之前的范式中, 虽然能够观察到对记忆阵列的巩固降低了第二个任务的反应时或正确率, 但并没有直接的证据证明T1的记忆成绩会随着巩固时间的增加而发生改变。这种结果模式虽然可以在带掩蔽的变化觉察范式中被观察到, 但该范式测量范围的模糊性限制了这一结果的理论意义。而在Nieuwenstein和Wyble (2014)的回溯干扰范式下, T1任务的正确率会随着掩蔽与2-AFC任务之间的SOA增加而增加, 同时2-AFC任务的反应时也同步降低并趋于稳定。因此, 回溯干扰范式可以更可靠的证明巩固进程的存在。然而, Nieuwenstein和Wyble (2014)的证据是单一的, 需要更多的重复研究来证明该范式的稳定性。此外, 该范式所涉及到的心理过程更复杂, 这可能会限制它和一些神经成像测量技术的结合应用。
3 视觉工作记忆巩固的模式
在巩固研究中, 一个被稳定重复的现象是, 当同时记忆的项目数量增多时, 所需要的巩固时间更长(Akyürek, Leszczyński, & Schubö, 2010; Jolicœur & Acqua, 1998; Nieuwenstein & Wyble, 2014; Vogel et al., 2006; Vogel & Luck, 2002)。针对这一现象, 研究者提出了两种可能的巩固模式对其进行解释。序列巩固(serial consolidation)模式认为, 视觉信息是以序列的方式被逐个巩固进入到视觉工作记忆中的, 即个体一次只能巩固一个信息。因此, 当同时记忆的项目数量增多, 需要更多的时间完成巩固。有限数量的并行巩固(limited- capacity parallel consolidation)模式则认为, 有限个数的项目信息能够在单次巩固过程中被并行巩固进入视觉工作记忆系统里, 当需要巩固的项目总数超过单次能够并行巩固的最大数量时, 则必须序列地进行多次并行巩固才能将所有的项目信息巩固进入视觉工作记忆系统。在对视觉工作记忆巩固模式进行探讨时, 研究者们最初的关注点集中于是否存在有限数量的并行巩固。之后, 研究问题转向哪类视觉信息可以进行有限数量的并行巩固, 以及该模式受到哪些因素的影响。
3.1 能否进行有限数量的并行巩固
在探究巩固的运行模式时, 为了避免项目数量过多而造成的决策干扰(Eckstein, Thomas, Palmer, & Shimozaki, 2000; Palmer, Verghese, & Pavel, 2000), 研究者一般给被试呈现两个记忆项目。在实验过程中, 结合带掩蔽的变化觉察范式(Scharff, Palmer, & Moore, 2011), 记忆项目以序列或同时的方式呈现(如图1所示)。实验的关键设定是, 序列呈现一个项目的时间和并行呈现两个项目的时间相同。这一时间是在正式实验之前通过预实验测定的使单个项目记忆正确率达到80%的记忆阵列呈现时间, 也称为最短巩固时间(具体计算方法见图一注释)。根据这一范式, 如果同时呈现和序列呈现条件下被试的成绩无显著差异, 则说明被试能够同时对两个项目进行巩固。
图1
图1
同时/序列呈现范式(李腾飞, 马楠, 胡中华, 刘强, 2017)
注：项目呈现时间(mt)是通过测量阈限时间以确定每名被试巩固一项记忆色块的最小时间。具体的操作方式是先让被试只进行序列呈现条件的实验, 呈现时间共有8种可能(8 ms、16 ms、33 ms、66 ms、133 ms、266 ms、533 ms和800 ms等概率随机呈现), 每种呈现时间各18次。分别计算被试在8种呈现时间条件下的反应正确率, 通过参数拟合, 选取能够使被试达到80%正确率所对应的时间作为正式实验中的记忆色块呈现时间。此外, 为了防止被试在测量阈限阶段对序列呈现存在练习效应, 同时要求被试完成相同试次的同时呈现任务, 其他条件与序列呈现条件相同, 但不进行统计分析。
在具体的研究中, Huang, Treisman和Pashler(2007)首先探讨了颜色信息的巩固模式。他们发现,序列呈现条件下的正确率显著高于同时呈现条件。该结果似乎表明视觉工作记忆的巩固过程是序列进行的。然而, 在Huang等人(2007)的研究中, 色块信息和掩蔽并不是完全随机地出现。在这种情况下, 被试很容易预测出在序列呈现条件下第二个记忆项目的颜色, 从而对巩固的加工方式产生了影响。随后, Mance, Becker和Liu (2012)排除了这一因素。其结果表明, 呈现两个色块时, 同时呈现和序列呈现成绩无差异。而呈现三个或四个色块时, 同时呈现的成绩显著差于序列呈现。这说明对于颜色信息的巩固是以并行模式进行, 且并行巩固的数量限制为二, 是一种数量有限的并行模式。他们的结果也有着神经层面上的证据的支持。近期, Siemann, Herrmann和Galashan (2018)发现, 当两个项目的表征映射在一个神经元时, 能够使这个神经元同时为二者工作。因此, 有限数量并行巩固的实质可能是在对多个项目进行编码时, 在神经层面建立了同步激活(Snyder, Banich, & Munakata, 2014)。
除了使用同时/序列呈现范式对巩固模式进行探究外, Hao, Becker, Ye, Liu和Liu (2018)利用脑电CDA幅值能够反映视觉工作记忆中保持的项目数量这一特性, 对巩固模式进行了更直接的验证。在他们的实验中, 记忆阵列在最短巩固时间下被呈现, 记忆的项目数量分别为1、2、4项。结果显示, 巩固颜色信息的过程以并行的方式进行且容量限制为2个项目, 这一结果和之前的研究结果一致(Mance, Becker & Liu, 2012)。
3.2 哪种信息能够进行并行巩固
除了颜色信息以外, 研究人员还沿用同时/序列呈现范式对方向信息进行了测试, 结果发现, 方向信息不能以并行的方式进行巩固(Mance, Becker, & Liu, 2012; Becker, Miller, & Liu, 2013; Hao et al., 2018)。然而, 在同时/序列呈现范式下, 所观察到的同时呈现条件下记忆成绩降低这一现象, 除了不能并行巩固的解释以外, 还存在另外一种可能性, 即两个项目能够并行巩固, 但巩固的项目精度会降低。然而, 由于该范式所使用的正确率指标过于粗糙, 并不能对此进行有效区分。鉴于此, 一些研究者将该范式下的变化觉察任务改为回忆报告任务(recall task)进一步考察了方向信息的巩固模式(Liu & Becker, 2013; Miller, Becker, & Liu, 2014; Rideaux, Apthorp, & Edwards, 2015; Rideaux & Edwards, 2016)。与变化觉察任务不同的是, 回忆报告任务能够同时考察记忆的精度和数量(Zhang & Luck, 2008)。这些研究发现, 在记忆信息的精度指标上, 同时呈现条件与序列呈现条件没有显著差异。但是在记忆数量的指标上, 同时呈现条件显著低于序列条件, 从而排除了能够并行巩固但记忆巩固精度降低的这一可能性(Liu & Becker, 2013; Miller, Becker, & Liu, 2014)。Miller, Becker和Liu (2014)认为, 两种视觉信息在巩固方式上的差异主要源自于其进入巩固的带宽(即进入视觉工作记忆过程中的容量限制, 带宽越大, 能够同时巩固进入VWM的表征越少)。尽管知觉编码到工作记忆之间的带宽是不变的, 但是颜色仅需要很少的编码, 因此足够两个颜色信息进入; 而对于方向信息, 需要的编码较多, 其本身的带宽较大, 所以一次只能进入一个。
然而, Rideaux, Apthorp和Edwards (2015)的研究发现, 移动方向信息(如：箭头)能够进行有限数量的并行巩固。考虑到移动方向的带宽是方向信息的两倍(Britten & Newsome, 1998; Hembrook- Short, Mock, & Briggs, 2017), 如果并行巩固的能力与信息带宽的大小有关, 那么对于移动方向的并行巩固是不可能的。因此, 移动方向能够进行并行巩固这一结果推翻了特征的带宽解释。随后, 在Rideaux等人(2015)的实验三中, 通过控制方向刺激的呈现位置, 进一步发现, 在刺激呈现位置固定的情况下, 方向信息也能够实现并行巩固。
以上通过对颜色、移动方向和方向信息三者巩固模式的探讨, 可以看出, 信息是以序列方式还是并行方式进行巩固, 不是简单的是或否, 而是需要根据视觉信息的类型而定。此外, 在对实验位置进行操纵后, 对于方向信息的并行巩固更为容易(Rideaux, Apthorp, & Edwards, 2015; Rideaux & Edwards, 2016)。这表明, 通过调整一些外在因素, 可以改变对方向信息的巩固模式。这就导向了另一个议题, 即哪些因素能够影响巩固的模式。
3.3 巩固模式的影响因素
一些脑成像的研究表明, 操纵刺激背景(context)能够调节外侧纹状皮层的竞争(Kastner et al., 2001)。Beck和Kastner (2005)对多个刺激同时呈现时, 在初级视觉皮层上的竞争情况进行了考察。他们发现, 相较于序列呈现, 同时呈现在V2、VP、V4区的启动显著低于序列呈现。但是, 突显刺激的呈现能够消除多个项目间的相互抑制作用, 进而使得同时呈现与序列呈现引发相同程度的启动。考虑到突显效应起源于早期视觉皮层并独立于自上而下的控制, 突显刺激的添加可能改变了原有的刺激背景, 进而通过调控刺激之间在外侧纹状皮层的竞争, 使得并行巩固成为可能。
另外一些研究发现, 空间注意可以提高刺激信号的可获得性, 从而导致对信息的加工能力提高(Haskell & Anderson, 2016)。也就是说, 当刺激位置可以被预期时, 对该信息的加工速度将更快。基于这一发现, 我们可以推论, 如果增加刺激呈现位置的稳定性, 将可能提高对刺激项目的巩固速率。那么, 在同时呈现刺激的条件下, 例如同时呈现两个方向刺激, 若始终固定项目的呈现位置, 将导致对两个方向刺激巩固速率的增加, 这样一来, 在呈现时间不变的基础上, 也可以获得并行巩固的结果。这一推论可以解释之前研究中发现的一些现象, 如在Rideaux等人(2015)的实验中只有固定方向刺激的呈现位置时, 才能发现并行巩固的实验结果。
此外, 有大量研究显示, 当多个视觉项目间的空间距离变短时, 个体可以更加有效地对刺激项目进行编码加工(Hüttermann, Memmert, & Simons, 2014; Malcolm & Shomstein, 2015)。那么, 空间距离是否也是影响巩固模式的一个因素呢?基于这一考量, 国内李腾飞、马楠、胡中华和刘强(2017)通过控制记忆项目的呈现间距, 对颜色信息和方向信息的巩固模式进行了考察。他们在三种空间距离条件下序列或同时呈现两个记忆项目。实验结果一致发现记忆项目之间的空间距离会对视觉工作记忆巩固模式产生显著影响, 个体在同时呈现条件下的正确率会随着空间距离的增大而降低。这些结果表明巩固的模式可能还与视觉空间分布有关。
4 视觉工作记忆巩固的机制
仅仅着眼于巩固的时程及模式, 并不足以完整的揭示巩固加工的运行机制。因此, 这一部分我们将转换焦点, 聚焦于推测视觉工作记忆巩固所遵循的理论机制及相应的神经机制。
4.1 视觉工作记忆巩固的理论机制
考虑到对视觉工作记忆巩固的探讨主要依托几个经典范式来进行, 因此, 在这一部分笔者将回到最初用于研究巩固的几个实验范式, 对其背后的可能的理论机制进行推测, 以了解巩固在整个视觉工作记忆中如何发生作用。
使用带掩蔽的变化觉察范式得到的实验结果表明, 巩固的本质是记忆表征随着时间不断固化的过程(Vogel et al., 2006)。感觉加工阶段结束后, 视觉表征会在巩固的作用下随着时间逐渐固化。所以记忆项目和掩蔽刺激之间的时间间隔越大, 固化效果越强。随后, 孙慧明和傅小兰(2011)在其综述中对这一现象提出了另一种解释。他们认为, 巩固现象的发生是由于随着记忆阵列和掩蔽刺激之间的时间间隔增大, 掩蔽刺激对视觉表征的干扰覆盖效果逐渐减弱所致。
但是, 针对掩蔽和巩固的研究则指出, 掩蔽刺激对于视觉表征不是简单的覆盖。在Blalock (2013)的研究中, 相似的掩蔽(掩蔽刺激由记忆色块的颜色组成)比不相似的掩蔽(掩蔽刺激由黑白色块的颜色组成)更大地降低了记忆的正确率, 而当项目数量增加的时候, 这一效应增大。如果巩固过程仅仅是简单的覆盖过程, 那么相似的掩蔽和不相似的掩蔽对于记忆成绩的影响应该相同; 然而, 最后结果上的不同表明, 基本的覆盖过程不能完全解释巩固加工。巩固的加工过程可能还涉及中央执行控制与知觉干扰(Engle & Kane, 2004)。
从更广泛的角度来看, 已有的结果表明, 虽然知觉、视觉工作记忆和中央执行系统经常被孤立地研究, 但他们是高度交互的, 这种交互甚至可以持续到视觉输入几百毫秒之后。因此, 另外一些研究者尝试从注意的角度出发, 提出一些可以解释视觉工作记忆巩固的机制。基于时间的资源共享理论(等同于注意瓶颈理论)认为, 巩固在属性上是序列的, 一次只能加工一个表征(Camos & Barrouillet, 2014; Ricker, Nieuwenstein, Bayliss, & Barrouillet, 2018)。可以利用这一理论解释注意瞬脱中的现象。只有将第一个项目巩固完成之后才能进行第二个项目的巩固, 由此导致了注意瞬脱现象。但是, 这个理论解释不了在回溯干扰任务中发现的结果, 在回溯干扰范式下, 掩蔽刺激和第二个任务之间的时间间隔较短时, 不仅第二个任务的反应时会增加, 第一个任务正确率也会下降, 这说明T1的巩固同样受到了影响。针对这一现象, 研究者提出了中央容量共享模型来解释这一问题(Lehle & Hübner, 2009)。中央容量共享模型假设中央处理资源是有限的, 但是和严格的注意瓶颈理论不一样的是, 该模型认为T1和T2可以被并行地加工。因此, 巩固加工会同时影响T1和T2的成绩。但值得注意的是, 如果注意资源有限, 那么有限的资源是真的发生了共享, 还是被试策略性地将注意从巩固中转移并用于完成之后的加工任务呢?对于这个问题, 当前的研究仍未得到统一的结论。
此外, 基于掩蔽刺激之后巩固还在继续的研究发现, Wyble, Bowman和Nieuwenstein (2009)提出了eSTST (episodic simultaneous type - serial token, 如图2)模型来解释这一现象。该模型清楚地阐明了在掩蔽之后, 信息加工如何继续以及如何被随后的2-AFC任务中断。
图2
图2
eSTST模型(Wyble, Bowman, & Nieuwenstein, 2009)
如图2所示, eSTST模型认为视觉信息的记忆巩固过程存在两个阶段, 分别是快速表征视觉刺激的感觉处理阶段(第一个阶段, 图中标记为“Input”), 运行速度较慢的视觉工作记忆巩固阶段(第二个阶段, 图中标记为“Encoding”)。注意在这两个处理阶段之间起着促进任务相关刺激进入下一个阶段的作用(在图中被标记为“Transient Attention”)。在第一阶段中, 包含启动类型层(Types)项目和进行注意调制两部分。具体工作原理如下：当出现要记忆的刺激时, 它会触发从输入层(Input)到类型层的串联启动。此时沿腹侧视觉通路的高级表征被快速启动(Dicarlo, Zoccolan, & Rust, 2012; Wang, Xu, & Ma, 2012), 输入的刺激开始被表征为某一种类型。只有当这种启动被一个短暂的注意机制增强到一个阈值时, 才会开始巩固过程, 而掩蔽则会减少这种启动的积累。因此, 在回溯干扰任务中, 虽然掩蔽减弱了项目启动, 但是因为注意增强过程已经完成, 巩固已经开始, 所以此时的掩蔽并不能打断正在进行的巩固。eSTST模型的第二阶段是将已经达到启动阈值的类型层内容绑定到符号层(Token)继续进行加工。eSTST模型中的符号可以看作是情景性标记, 它们能够随着时间的推移维持其启动状态, 并且可以与下一级类型节点建立可靠的连接, 来存储关于感知刺激的信息。这种类型节点和符号之间的连接通过处于二者之间的绑定池(Binding Pool)来实现。在绑定池中, 包含很多符号节点和类型节点之间的连接, 这些连接是双向交互的, 可以启动其中一层的节点来引发另外一层相关节点的启动。在建立联系的过程中, 需要通过重复启动来维持类型的启动, 直到一个符号进入一种自我维持状态, 只有进入该状态的类型刺激才能被个体保存, 并且可以在之后的时间点进行检索, 进入该状态也被认为是巩固完成的标志。也就是说, 在回溯干扰任务中, 由于这个绑定交互过程的存在, 相应类型的激活将得到持续的维持, 直到巩固完成。
此外, 该模型假设巩固可以同时发生在多个类型层项目中。但是, 当与其他刺激并行编码时, 被编码的刺激表征将被削弱。因此, 随着待巩固刺激的数量增加, 巩固将越来越容易受到干扰, 总的巩固时间也会更长。值得一提的是, eSTST模型与视觉工作记忆巩固的其他理论机制不同, 其他理论通常假定巩固涉及一个缓慢的序列加工过程(Zylberberg, Slezak, Roelfsema, Dehaene, & Sigman, 2010)。但这一模型认为, 只要项目被加工过了, 绑定过程就可以同时发生在多个项目上。这在一定程度上支持了并行巩固的观点, 但这并不意味着eSTST对工作记忆中的信息巩固没有限制。相反, 该模型阐明了两种可能存在的限制。第一个限制是巩固会导致在新感知的刺激上产生注意抑制。所以, 如果这样的刺激短暂地出现, 并在其后出现掩蔽, 就会发生注意瞬脱。第二个限制是由共同启动的类型层项目之间存在的干扰引起。由于存在这种干扰, 当多个项目并行地巩固到工作记忆中时, 为类型层和符号层及绑定过程提供支持的启动将会被削弱, 导致巩固过程效率降低(Dell’Acqua, Dux, Wyble, & Jolicœur, 2012; Wyble et al., 2011)。综上所述, eSTST模型可以用来解释很多巩固方面的发现, 在巩固理论机制上的争议也可以通过这一模型来调和。
4.2 视觉工作记忆巩固的神经机制
顶内沟和后枕叶感觉区域的参与可能是视觉工作记忆巩固发生的神经基础。之前的研究表明, 顶内沟主要支持自上而下的中央注意控制机制(Cowan et al., 2011; Emrich, Riggall, Larocque, & Postle, 2013)。如在多目标追踪任务中, 顶内沟内的神经活动能够敏感于追踪数量(Nelson Cowan et al., 2011; Todd & Marois, 2004), 并且该脑区被认为是VWM的容量限制机制(Xu & Chun, 2006)。因此, 在强调中央注意机制参与的注意瞬脱范式中, 顶叶区域, 尤其是顶内沟, 可能是主导巩固进程的关键脑区(Marti, Sigman, & Dehaene, 2012; Todd, Han, Harrison, & Marois, 2011)。此外, 近期的一些研究证据指出, 巩固加工也可能涉及后部的感觉区域。最初的证据来自Makovski 和Lavidor (2014)的研究。他们使用破坏性的经颅直流电刺激(transcranial direct current stimulation, tDCS)直接抑制枕叶皮质区, 结果发现在带掩蔽的变化觉察范式下, 被试的巩固成绩显著降低。随后, Lamsweerde和Johnson (2017)进一步重复了他们的结果。然而这些证据也可以有不一样的解读, 尤其是考虑到新提出的感觉征用模型。该模型指出, 后部感觉区域也负责短时的存储多个活跃的VWM表征。多变量模式分析技术为该理论提供了大量的证据支持。采用该技术, 研究者们发现, 在视觉工作记忆内存储的表征可以在编码这些信息的视觉皮层获得解码(Emrich et al., 2013; Ester, Anderson, Serences, & Awh, 2013; Larocque, Lewispeacock, & Postle, 2014)。考虑到巩固加工主要涉及将脆弱的感觉信息进一步推送到更稳定的存储阶段。而tDCS技术在时间精度上有着很大的弥散性, 并不能仅仅选择性地干扰巩固阶段。这意味着在Makovsk和Lavidor (2014)的研究中, 对视觉皮层施加的破坏性刺激, 可能只是干扰了刚刚进入存储阶段的VWM表征。未来的研究可以采用时间和空间更精确的同步经颅磁刺激技术来进一步验证Makovsk和Lavidor (2014)的发现。
值得注意的是, 巩固加工可能也与记忆痕迹的衰减有关。根据项目绑定理论, 不同的神经群通过集群放电以达到强化记忆痕迹的目的(Lisman & Jensen, 2013)。这提示, 记忆痕迹的衰减可能是一个神经群逐渐去同步化放电的过程。基于该视角, 我们推测, 视觉工作记忆巩固可能是通过某种方式增强信号本身或通过减少噪声来增强同步化的过程。
5 展望
作为大脑的缓存系统, 视觉工作记忆影响着人类认知加工的各个方面。而巩固机制直接限制了哪些信息能够进入视觉工作记忆系统, 并被有效存储和利用。现在研究者们一致的认为, 借由巩固机制, 个体能够将不稳定的感觉输入转化为稳定的视觉工作记忆表征(Jolicœur & Acqua, 1998; Nieuwenstein & Wyble, 2014; Ricker, 2015)。然而无论借助何种测量手段以及神经指标, 对巩固机制的探究均需要借助精准的实验范式。研究者们已经开发了注意瞬脱范式、双任务范式、带掩蔽的变化觉察范式及回溯干扰范式用于巩固的研究中。综合比较, 回溯干扰范式结合了带掩蔽的变化觉察范式以及双任务范式的优点, 是目前实现测量巩固进程较为合适的实验范式。在该范式下, 记忆阵列之后立即呈现的掩蔽刺激提供将编码和巩固两个过程区分开的作用, 并且可以通过随后的2-AFC任务的反应时有效对巩固时程进行测量。因此该范式能够在避免影响编码阶段的前提下, 对巩固过程进行研究。然而, 该范式涉及到的心理过程更为复杂。这将限制一些研究问题采用该范式的可能性。我们建议, 具体使用何种范式对其进行测量, 应该根据研究问题的侧重点来进行选择, 并考虑相应范式的不足对结果可能造成的影响。在巩固模式上, 目前的研究认可并行巩固的存在, 并提出颜色刺激相比于方向信息、移动方向信息更容易进行并行巩固。同时, 可以通过增加凸显、固定项目呈现位置等方式使并行巩固成为可能。在理论方面, 我们建议使用eSTST模型, 来调和巩固机制上存在的一些争议。
尽管当前对于巩固的运行机制已形成一些认识, 但可以认为, 目前对巩固机制的研究尚处于一个上升的阶段, 因此依然存在一些需要进一步深化的地方。
首先, 在巩固模式的研究上, 对于并行和序列模式的探讨主要是在带掩蔽的变化觉察范式下进行。然而, 考虑到一部分研究认为在掩蔽之后巩固仍在继续(Nieuwenstein & Wyble, 2014; Ricker et al., 2017)。因此, 有必要在回溯干扰范式下, 再对方向信息和颜色信息的巩固模式进行验证。
其次, 尽管在我们的文章中阐述了注意是巩固的基础, 在巩固期间其他需要注意的任务都会被延迟(Chun & Potter, 1995; Jolicœur & Acqua, 1998; Stevanovski & Jolicœur, 2007)。但是最近的研究表明, 任务预期也是影响项目能否被巩固进VWM的一个重要因素。相关的证据来自于Chen和Wyble (2015)的研究。在他们的实验中, 给被试快速呈现由一个字母和三个数字组成的刺激阵列, 让被试搜索字母, 并记住字母的位置, 然后在探测界面呈现时报告出字母的位置(预期任务)。实验的关键操控是在经过一定数量的试次后, 突然在探测界面要求被试报告字母的身份或颜色(意外任务)。他们发现, 在意外任务中报告字母身份或颜色的正确率显著低于预期任务中报告字母位置的正确率, 研究者将这一现象称为“属性失忆”。在随后的研究中, 他们通过在记忆项目之前提前让被试对项目的未预期属性进行巩固, 从而消除了这种属性失忆现象(Chen & Wyble, 2016)。这些结果表明, 属性失忆现象是由于未预期的项目属性没有被巩固进入视觉工作记忆系统所导致。因为被试首先要通过识别项目身份完成注意搜索, 所以项目身份必然会被注意到, 但却没有能够被巩固进入工作记忆系统。由此可见, 注意到的特征并不一定会被巩固进入记忆系统, 视觉工作记忆巩固可以有选择地巩固只与未来的记忆任务相关的项目属性信息。然而, 在巩固过程中, 是如何只选择记忆任务相关而排除掉其他任务相关的属性信息呢?这一机制在已有的巩固模型中还缺乏探讨。未来需要在模型中进一步增加相关控制成分, 并深入探讨其认知神经机制。
最后, 目前的一些研究发现个体对记忆项目的熟悉性会影响巩固加工的速度。如在Xie和Zhang (2017)的研究中, 以卡通动物形象作为刺激材料, 采用带掩蔽的变化觉察范式考察熟悉性刺激(第一代数码宝贝图片)与非熟悉性刺激(最新的数码宝贝图片)的巩固速度。最后结果表明, 对于熟悉的卡通材料有更快的巩固速度。研究者们认为, 熟悉性之所以会提高视觉工作记忆巩固的速度, 是由于个体能够快速地将已经存在于长时记忆中的表征进行激活并提取到视觉工作记忆中(Blalock, 2015; Xie & Zhang, 2017)。那么, 这种熟悉性在巩固速度上的优势是否也可以对巩固的其他方面产生作用呢?比如说, 对于较为复杂的熟悉物体, 在巩固模式上是以序列的方式进行加工, 还是按照有限数量的并行巩固模式进行。因此, 未来研究的一个重要任务是检验由长时记忆带来的增益是否会对视觉工作记忆巩固的其他方面产生影响。
参考文献
The temporal locus of the interaction between working memory consolidation and the attentional blink
Visual working memory represents a fixed number of items regardless of complexity
Working memory and vigilance: Evidence from normal aging and Alzheimer’s disease
Memory representations in natural tasks.(Author Abstract)
Consolidating working memory: Distinguishing the effects of consolidation, rehearsal and attentional refreshing in a working memory span task
Response to comment on “Dynamic shifts of limited working memory resources in human vision.”
Stimulus context modulates competition in human extrastriate cortex
Tuning bandwidths for near-threshold stimuli in area mt
Mask similarity impacts short-term consolidation in visual working memory
Stimulus familiarity improves consolidation of visual working memory representations
A severe capacity limit in the consolidation of orientation information into visual short-term memory
Amnesia for object attributes: Failure to report attended information that had just reached conscious awareness
Attribute amnesia reflects a lack of memory consolidation for attended information
A two-stage model for multiple target detection in rapid serial visual presentation
A neural region of abstract working memory
Sparing from the attentional blink is not spared from structural limitations
How does the brain solve visual object recognition?(Report)
Task demands control acquisition and storage of visual information
Perceptual selection based on alphanumeric class: Evidence from partial reports
A signal detection model predicts the effects of set size on visual search accuracy for feature, conjunction, triple conjunction, and disjunction displays
Distributed patterns of activity in sensory cortex reflect the precision of multiple items maintained in visual short-term memory
Executive attention, working memory capacity, and a two-factor theory of cognitive control
A neural measure of precision in visual working memory
Information transfer in iconic memory experiments
Beyond the attentional blink: visual masking by object substitution
The bandwidth of VWM consolidation varies with the stimulus feature: Evidence from event-related potentials
Attentional effects on orientation judgements are dependent on memory consolidation processes
Attentional modulation of neuronal activity depends on neuronal feature selectivity
Characterizing the limits of human visual awareness
The size and shape of the attentional “spotlight” varies with differences in sports expertise
The attentional blink reflects retrieval competition among multiple rapid serial visual presentation items: tests of an interference model
The Demonstration of Short-Term Consolidation,
Modulation of sensory suppression: Implications for receptive field sizes in the human visual cortex
Assessing the effect of early visual cortex transcranial magnetic stimulation on working memory consolidation
Multiple neural states of representation in short-term memory? It’s a matter of attention
Strategic capacity sharing between two tasks: evidence from tasks with the same and with different task sets
Serial consolidation of orientation information into visual short-term memory
The capacity of visual working memory for features and conjunctions
Changing concepts of working memory
Stimulating occipital cortex enhances visual working memory consolidation
Object-based attention in real-world scenes
Parallel consolidation of simple features into visual short-term memory
A shared cortical bottleneck underlying attentional blink and psychological refractory period
The bandwidth of consolidation into visual short-term memory depends on the visual feature
Beyond a mask and against the bottleneck: Retroactive dual-task interference during working memory consolidation of a masked visual target
The psychophysics of visual search
Fragile visual short-term memory is an object-based and location-specific store
The role of short-term consolidation in memory persistence
The nature of short- term consolidation in visual working memory
Working memory consolidation: insights from studies on attention and working memory
Evidence for parallel consolidation of motion direction and orientation into visual short-term memory
The cost of parallel consolidation into visual working memory
A central capacity limit to the simultaneous storage of visual and auditory arrays in working memory
Extending the simultaneous-sequential paradigm to measure perceptual capacity for features and words
The effect of feature-based attention on flanker interference processing: An fMRI-constrained source analysis
Are there multiple visual short-term memory stores?
All competition is not alike: neural mechanisms for resolving underdetermined and prepotent competition
Consolidation of multifeature items in visual working memory: Central capacity requirements for visual consolidation
Visual short-term memory: Central capacity limitations in short-term consolidation
The tall office building artistically considered
.
The neural correlates of visual working memory encoding: A time-resolved fMRI study
Capacity limit of visual short-term memory in human posterior parietal cortex
What you see is what you need
Delayed working memory consolidation during the attentional blink
Storage of features, conjunctions, and objects in visual working memory
The time course of consolidation in visual working memory
Research of safe speed at snow on freeway based on braking model of stopping sight distance
Capacity limits during perceptual encoding
A detection theory account of change detection
The attentional blink provides episodic distinctiveness: Sparing at a cost
Attentional episodes in visual perception
Familiarity speeds up visual short-term memory consolidation
Dissociable neural mechanisms supporting visual short-term memory for objects
Visual working memory capacity for color is independent of representation resolution
Discrete fixed-resolution representations in visual working memory
The brain’s router: A cortical network model of serial processing in the primate brain
