ISSN 0439-755X
CN 11-1911/B
主办:中国心理学会
   中国科学院心理研究所
出版:科学出版社

心理学报, 2019, 51(7): 759-771 doi: 10.3724/SP.J.1041.2019.00759

研究报告

不同SOA下视觉返回抑制对视听觉整合的调节作用

彭姓1, 常若松1, 李奇2, 王爱君,3, 唐晓雨,1

1 辽宁师范大学 心理学院, 辽宁省儿童青少年健康人格评定与培养协同创新中心, 大连 116029

2 长春理工大学 计算机科学技术学院, 长春 130022

3 苏州大学 心理学系, 心理与行为科学研究中心, 苏州 215123

Visually induced inhibition of return affects the audiovisual integration under different SOA conditions

PENG Xing1, CHANG Ruosong1, LI Qi2, WANG Aijun,3, TANG Xiaoyu,1

1 School of Psychology, Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation, Liaoning Normal University, Dalian 116029, China

2 School of Computer Science and Technology, Changchun University of Science and Technology, Changchun 130022, China

3 Department of Psychology, Research Center for Psychology and Behavioral Sciences, Soochow University, Suzhou 215123, China

通讯作者: 唐晓雨, E-mail:tangyu-2006@163.com;王爱君, E-mail:ajwang@suda.edu.cn

收稿日期: 2018-05-21   网络出版日期: 2019-07-25

基金资助: * 国家自然科学基金项目.  31600882
国家自然科学基金项目.  31700939
国家自然科学基金项目.  61773076
江苏省基础研究计划.  BK20170333
辽宁省高水平创新团队国(境)外培养项目资助.  2018LNGXGJWPY-YB015

Received: 2018-05-21   Online: 2019-07-25

摘要

基于外源性线索-靶子范式, 采用2(线索-靶子间隔时间, stimulus onset asynchronies, SOA:400~600 ms、1000~1200 ms) × 3(目标刺激类型:视觉、听觉、视听觉) × 2(线索有效性:有效线索、无效线索)的被试内实验设计, 要求被试对目标刺激完成检测任务, 以考察视觉线索诱发的返回抑制(inhibition of return, IOR)对视听觉整合的调节作用, 从而为感知觉敏感度、空间不确定性及感觉通道间信号强度差异假说提供实验证据。结果发现:(1) 随SOA增长, 视觉IOR效应显著降低, 视听觉整合效应显著增强; (2) 短SOA (400~600 ms)时, 有效线索位置上的视听觉整合效应显著小于无效线索位置, 但长SOA (1000~1200 ms)时, 有效与无效线索位置上的视听觉整合效应并无显著差异。结果表明, 在不同SOA条件下, 视觉IOR对视听觉整合的调节作用产生变化, 当前结果支持感觉通道间信号强度差异假说。

关键词: 外源性空间注意 ; 视听觉整合 ; 返回抑制 ; 竞争模型 ; 线索-靶子范式

Abstract

Both audiovisual integration and inhibition of return (IOR) can facilitate the processing of sensory information, such as enhancing the perceptual processing. Previous studies found that IOR decreased the audiovisual integration at previously attended locations. Several hypotheses have been put forward to explain the effect of IOR on audiovisual integration: perceptual sensitivity, spatial uncertainty, and differences in unimodal signal strength. In present study, we used cue-target paradigm and manipulated the SOA conditions (400~600 ms vs. 1000~1200 ms) to investigate how audiovisual integration would be modulated by IOR induced by visual exogenous spatial cues.
The current study was a 2 (SOA conditions: 400~600 ms, 1000~1200 ms) × 3 (target modalities: visual, auditory, audiovisual) × 2 (cue validities: cued, uncued) factorial design. Twenty-seven undergraduate students were recruited as paid volunteers from a university. The visual (V) target was a red and white block (1°×1°). The auditory (A) target (duration of 100 ms) was a 1000 Hz sinusoidal tone presented by speakers. The audiovisual (AV) target was composed by the simultaneous presentation of both the visual and the auditory stimuli. At the beginning of each trial, the fixation stimulus was presented for 800~1000 ms in the center of the display. Following the fixation stimulus, a visual white square served as a exogenous cue was presented for 50 ms at the left or right location randomly. Then, the fixation stimulus was randomly presented for 150~250/450~550 ms, which was followed by a central cue with a delay of 50 ms. Before the target (100 ms) occurrence, the fixation stimulus randomly appeared again for 150~250/450~550 ms. Thus, the SOA between the peripheral cue and the target was completed in 400~600/1000~1200 ms. The target (A, V, or AV) randomly appeared (6/7) for 100 ms in the left or right locations, or no stimulus appeared (1/7). During the experiment, participants were instructed to respond to the target stimulus at any possible locations by pressing a response button as quickly and accurately as possible.
The results showed that the responses to AV targets were faster than V or A targets, indicating the appearance of the bimodal advancement effect. A smaller magnitude of audiovisual IOR as compared to visual IOR was found whether it’s in short or long SOA conditions. In addition, visual IOR effect was significantly reduced under the long SOA condition compared with the short SOA condition while the audiovisual integration effect increased by SOA. The results of the relative multisensory response enhancement (rMRE), race model (probability difference) and positive area under the curve (pAUC) showed that audiovisual integration decreased at cued compared to uncued locations under the short SOA condition but not the long SOA condition.
Based on the aforementioned findings, it is assumed that visual IOR decreased the audiovisual integration in the short SOA, and audiovisual integration would be modulated by different SOA conditions. The current result supported the hypothesis of differences in unimodal signal strength.

Keywords: exogenous spatial attention ; audiovisual integration ; inhibition of return ; race model ; cue-target paradigm

PDF (852KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

彭姓, 常若松, 李奇, 王爱君, 唐晓雨. 不同SOA下视觉返回抑制对视听觉整合的调节作用. 心理学报[J], 2019, 51(7): 759-771 doi:10.3724/SP.J.1041.2019.00759

PENG Xing, CHANG Ruosong, LI Qi, WANG Aijun, TANG Xiaoyu. Visually induced inhibition of return affects the audiovisual integration under different SOA conditions. Acta Psychologica Sinica[J], 2019, 51(7): 759-771 doi:10.3724/SP.J.1041.2019.00759

1 前言

在日常生活中, 我们的大脑无时无刻不在接受外在世界大量的信息输入。多感觉整合(multisensory integration, MSI)和外源性空间注意(exogenous spatial attention)是有助于组合和处理不同感觉通道信息的两种重要机制(Calvert, Spence, & Stein, 2004; Spence & Driver, 2004)。多感觉整合是指个体将来自不同感觉通道(视觉、听觉、触觉等)的信息相互作用并整合为统一的、连贯的和有意义的知觉过程(Tang, Wu, & Shen, 2016)。其中, 将视觉和听觉信息有效整合的知觉过程被称作视听觉整合(audiovisual integration)。视听觉整合能够促进刺激的检测、识别和定位(Stein & Stanford, 2008)。外源性空间注意是基于空间位置的注意定向, 由显著的突显性刺激(例如亮度变化, 起伏或移动刺激)以捕获注意, 属于注意自下而上的加工(Chica, Bartolomeo, & Lupiáñez, 2013)。同样, 外源性空间注意也能够促进目标刺激的检测、识别和定位(Spence, 2010)。例如, 外源性线索能够增强同一位置上目标的感知觉处理, 从而加快对目标的反应(Mcdonald, Tedersälejärvi, Di, & Hillyard, 2005)。

鉴于视听觉整合与外源性空间注意均能增强感知觉处理, 帮助我们更好地感知外部世界, 研究者们开始探讨两者间的关系(Talsma, Senkowski, Soto-Faraco, & Woldorff, 2010; Tang et al., 2016)。外源性线索-靶子范式(cue-target paradigm)是研究外源性空间注意的经典范式( & Cohen, 1984)。该范式主要以凸显特征(如方框变亮或变粗)作为线索呈现在左或右侧外周位置, 要求被试在经过一段时间间隔(stimulus onset asynchronies, SOA)后, 对呈现在与线索相同(即有效线索, valid cue)或不同(即无效线索, invalid cue)位置上的目标刺激进行反应。结果发现, 当线索-靶子间隔时间(即SOA)小于约250 ms时, 有效线索位置上的反应时显著快于无效线索位置, 被称为“易化效应(facilitation effect)”。然而当SOA大于300 ms时, 有效线索位置上的反应时却显著慢于无效线索位置, 被称为“返回抑制(inhibition of return, IOR)效应” (Martínarévalo, Chica, & Lupiáñez, 2015)。基于此, 研究者们分别考察了外源性空间注意引起的易化效应和抑制效应对视听觉整合的调节作用。

具体来看, van der Stoep等(2015)考察了外源性听觉线索在短SOA (200~250 ms)条件下引起的易化效应对视听觉整合的调节作用。实验通过声音诱发外源性空间注意, 要求被试对呈现在左或右侧的视觉(visual, V)、听觉(auditory, A)和视听觉(audiovisual, AV)目标刺激进行反应(Go-trials), 呈现在中间的刺激不反应(No-go trials)。结果发现, 被试对视听觉双通道目标的反应时显著快于单通道的视觉、听觉目标, 即, 产生冗余信号效应(redundant signals effect, RSE)。同时, 外源性空间注意能够加快有效线索位置上目标刺激的反应, 产生易化效应; 更重要的是, 外源性空间注意减少了有效线索位置上的视听觉整合效应。在后续研究中, van der Stoep, van der Stigchel, Nijboer和Spence (2016)基于相同的实验范式, 考察了外源性视觉线索在长SOA (350~450 ms)条件下诱发的IOR效应对视听觉整合的调节作用。结果发现, 虽然在反应时结果上发生反转, 即目标刺激通道为视觉时产生IOR效应, 但有效线索位置上的视听觉整合效应仍然显著小于无效线索位置。

上述研究结果表明, 无论是外源性空间注意引起的易化效应还是抑制效应, 两者均能减少有效线索位置上的视听觉整合效应(van der Stoep, van der Stigchel, & Nijboer, 2015; van der Stoep et al., 2016)。为此, 研究者们提出多种理论假说来解释外源性空间注意对视听觉整合的调节机制:(1)感知觉敏感度假说, 外源性线索能够提高有效线索位置上的感知觉敏感度, 从而相对增强紧接着呈现在该位置上目标的感知强度(Carrasco, 2011), 基于多感觉加工中的反比效应原则(principle of inverse effectiveness), 高强度刺激引起的多感觉整合效应更小(Senkowski, Saint-Amour, Höfle, & Foxe, 2011), 最终得到有效线索位置上视听觉整合效应减小的结果(van der Stoep et al., 2015)。(2)空间不确定性假说, van der Stoep等(2015)认为外源性线索-靶子范式中的线索不能预测随后呈现目标的位置以至于产生更高的目标位置不确定性, 因此被试对目标的反应要更多依赖于线索诱发的空间定向。在有效线索位置上, 外源性线索与视听觉目标本身引起的空间定向信息是冗余的, 当线索诱发的空间定向重要性提高时, 视听觉目标本身引起的空间定向重要性则会降低, 最终减少视听觉整合效应。(3)感觉通道间信号强度差异假说, 当不同感觉通道之间的信号强度差异过大时, 多感觉整合效应更小, 而当不同感觉通道之间的信号强度相近时, 多感觉整合效应更大(Otto, Dassy, & Mamassian, 2013)。van der Stoep等(2016)发现当外源性注意引起视觉目标但未引起听觉目标的IOR效应时, 有效线索位置上视、听感觉通道间加工速度差异的增大会导致信号强度差异也随之增大, 最终得到有效线索位置上视听觉整合效应减小的结果。

上述关于外源性注意调节视听觉整合的几种理论假说是研究者们基于不同研究背景(不同性质的外源性线索, 不同SOA条件)所提出的(van der Stoep et al., 2015; van der Stoep et al., 2016)。虽然在行为学研究中外源性注意在不同SOA条件下对视听觉整合的调节结果一致, 但其神经机制可能并不一致(Martínarévalo et al., 2015)。因此, 本研究关注抑制效应对视听觉整合的调节作用, 统一诱发外源性空间注意的线索类型。利用操控SOA能够引起IOR效应量变化的特性, 选取400~600 ms (Tang et al., 2019) (in press)作为短SOA条件, 并且参考跨通道视-听返回抑制相关文献(Reuterlorenz, Jha, & Rosenquist, 1996; Spence, Lloyd, Mcglone, Nicholls, & Driver, 2000), 选取1000~1200 ms作为长SOA条件。考察在不同SOA下视觉返回抑制对视听觉整合的调节作用。

综上, 本研究基于外源性线索-靶子范式, 利用视觉线索诱发外源性空间注意, 操控SOA条件(400~600 ms、1000~1200 ms)、目标刺激类型(视觉、听觉、视听觉)、线索有效性(有效线索、无效线索), 同时在外源性线索与目标刺激之间加入中央重新定向事件(central reorienting event, CRE) (Prime, Visser, & Ward, 2006)以诱发更稳定的IOR效应, 考察视觉IOR对视听觉整合的调节作用, 从而为感知觉敏感度、空间不确定性及感觉通道间信号强度差异假说提供实验证据。基于前人研究结果, 研究预期:外源性空间注意引起的IOR效应基于SOA而变化, 从而影响对视听觉整合效应的调节作用。

2 方法

2.1 被试

一方面, 基于以往关于外源性空间注意与多感觉整合关系研究的样本量(van der Stoep et al., 2015; van der Stoep et al., 2016); 另一方面, 基于相关研究中报告的效果量以及期望的功效值(0.8)所计算的样本量(计算软件采用GPower_3.1.7)。本研究计划样本量17~34人, 最终招募某高校在校学生27名(男生4名, 女生23名), 年龄跨度为18~29岁, M = 21.74岁, SD = 3.46岁。所有被试的视力或矫正视力正常, 听力正常, 均为右利手, 身体健康, 无精神系统疾病, 无脑部损伤史。被试完成实验后获得一定报酬。

2.2 实验仪器和材料

实验刺激呈现在AOC G2770PF(270LM00009)型号的液晶显示器上, 可视尺寸为27英寸, 屏幕分辨率为1024×768像素, 刷新率为100 Hz。实验程序由E-prime 1.1软件编程, 所有视觉刺激呈现在黑色背景上, 亮度指标为0.4 cd/m2。被试在黑暗的实验室中单独参加测试, 距离电脑屏幕为60 cm。

图1左所示:注视屏中, 屏幕中心呈现白色(RGB: 255, 255, 255; 155.2 cd/m2)的加号" + "注视点 (长度: 0.05°×0.05°); 线索屏中, 屏幕左/右侧随机出现白色正方形(长度: 1°×1°; 离中央注视点: 4.5°)作为外源性线索引起该位置的注意; 中央线索屏中, 中央注视点变大变粗(长度: 0.1°×0.1°)作为中央位置的重新定向; 目标刺激屏中, 分别呈现视觉、听觉和视听觉刺激。视觉目标刺激为红色(RGB: 255, 0, 0; 27.5 cd/m2)与白色组成的棋盘格(长度:1°×1°)。听觉目标刺激采用SoundEngine Free软件制作和处理, 为1000Hz的纯音(65 dB, 100 ms, 10 ms的rise和fall time), 通过位于屏幕后两侧(左/右)的扬声器呈现(离中央注视点: 19°), 视听觉目标刺激由视觉和听觉目标刺激同时呈现。

图1

图1   实验示意图

注:图左为刺激呈现位置的示意图, 图右为单个试次的流程图。图右中视觉线索(白色正方形)呈现在左侧, 目标(视听觉)也呈现在左侧(即, 有效线索位置), 要求被试对目标刺激进行既快又准的检测反应。其中, 目标刺激(V/A/AV)分别代表视觉(visual)、听觉(auditory)和视听觉(audiovisual)通道目标。ISI是指刺激间时间间隔(inter-stimulus interval)。ITI是指试次间的时间间隔(inter-trial interval)。SOA的计算是由视觉线索时间(50 ms), 2个ISI时间(150~250 ms/450~550 ms)以及视觉中心线索时间(50 ms)相加而得, 因此SOA为400~600 ms/1000~1200 ms。


2.3 实验程序与实验设计

实验采用2(SOA条件:400~600 ms、1000~ 1200 ms) × 3(目标刺激类型:视觉、听觉、视听觉) × 2(线索有效性:50%有效线索、50%无效线索)的被试内实验设计。实验包括练习和正式实验, 练习实验共56个试次, 正式实验共4组, 每组210个试次, 其中2组为短SOA (400~600 ms)条件, 另外2组为长SOA (1000~1200 ms)条件, 4组随机呈现。实验中, 目标刺激占6/7, 捕获刺激占1/7 (无任何目标刺激出现), 要求被试用优势手的食指既快又准地对目标刺激进行按键反应(键盘上的“B”)。由于实验中的捕获刺激试次无任何目标刺激出现, 因此仅分析包含目标刺激的试次(6/7), 共720个试次, 平均每种实验条件下60个试次随机呈现。每组结束后, 给予正确次数的反馈, 被试可以在组间进行短暂休息。整个实验大约持续一个小时。

实验阶段单个试次的流程如图1右所示:首先, 注视点随机呈现800~1000 ms, 接下来屏幕左/右侧随机出现白色正方形(视觉线索), 时间为50 ms, 经150~250 ms或450~550 ms随机时间间隔后, 注视点变大变粗 (视觉中心线索), 时间为50 ms, 中心线索消失后, 同样经150~250 ms或450~550 ms的随机时间间隔后, 目标刺激(V/A/AV)出现在屏幕的左/右侧, 持续时间为100 ms。最后, 注视点呈现1000 ms允许被试进行按键反应。要求被试在整个实验中都盯住中央注视点直到结束。

2.4 数据分析

反应时数据按照以下标准进行删除:被试反应错误; 没有反应; 反应时小于100 ms或超过1000 ms。最终数据删除量占总数据的1.3%。

为了比较不同条件下的相对多感觉反应增强(relative amount of multisensory response enhancement, rMRE), 采用公式(a)对视听觉目标反应时与单通道目标(视觉、听觉)中最快反应时的相对差值进行计算。rMRE值反映了与单通道目标(视觉、听觉)中最短的反应时相比, 个体对多感觉通道目标反应时的加速或减速的相对量, 代表多感觉反应增强效应。

$\begin{matrix} & rMRE= \\ & \frac{\min (median(R{{T}_{A}}),\ median(R{{T}_{V}})-median(R{{T}_{AV}}))}{\min (median(R{{T}_{A}}),\ median(R{{T}_{V}}))}\times \\ \end{matrix}$100%

对于冗余信号效应的解释, 有竞争模型(race model)和共激活模型(co-activation model)两种假设(刘强, 2010)。当加工多感觉通道刺激时, 不同感觉通道刺激被分别加工, 最先完成加工的感觉通道优先触发被试的反应, 这种效应被称为统计促进(statistical facilitation), 符合竞争模型假设(Raab, 1962)。若不同感觉通道的刺激均被激活并在特定的时间点上整合为统一连贯的知觉信息并共同作用于随后的加工, 其融合信息的强度及可靠度相比任一单通道信息的强度和可靠度都高, 则代表产生多感觉整合效应, 符合共激活模型(co-activation model) (Miller, 1982, 1986)。为了评估rMRE结果是由统计促进(statistical facilitation)还是多感觉整合来解释, 采用公式(b) (竞争模型不等式, race model inequality) (Miller, 1986; Raab, 1962; Ulrich, Miller, & Schröter, 2007)来进行计算。

$P(R{{T}_{RaceModel}}<t)=P(R{{T}_{A}}<t)+P(R{{T}_{V}}<t)$

在上述公式中, P代表累积分布函数(cumulative distributive functions, CDF), 即在给定时间t内对目标反应的概率值。P (RTA < t)是单通道听觉试次在给定时间t内的反应概率值, 而P (RTv < t)是单通道视觉试次在给定时间t内的反应概率值, 通过该公式能够计算出竞争模型的预测累积概率值(predicated cumulative probability, CP), 即CPRace model, 代表预测的统计促进的上限值(Miller, 1982, 1986; Ulrich et al., 2007)。Race Model (Probability difference)代表视听CDF与竞争模型CDF在RT范围内(本研究为0~1000 ms)每10 ms上的概率差异(Laurienti, Burdette, Maldjian, & Wallace, 2006)。若在给定反应时范围内, 实际CPAV显著大于预测CPRace model, 即显著违反竞争模型, 代表发生多感觉整合效应(Ulrich et al., 2007)。视听条件下的CDF与竞争模型CDF之差表示多感觉整合效应大小。基于竞争模型不等式违反曲线, 能够计算出曲线下正值面积(positive area under the curve, pAUC), 对不同条件下显著违反竞争模型时间窗口内的曲线下正值面积(Yang et al., 2014)进行比较能够确定整合效应的大小。

以上两种指标从不同侧面反映了多感觉整合效应。Race Model (Probability difference)是指在各个时间点上的累积分布概率, 即, 各个时间点上整合效应的大小。而曲线下正值面积(pAUC)是指所有产生整合效应时间段上的总体累积分布差异, 即, 特定时间段(例如, 280~350 ms)上整合效应的大小。

3 结果与分析

数据分析前, 按以下标准剔除被试:(1)个人反应时或正确率超出总平均反应时、正确率的正负3个标准差。(2)捕获刺激的个人平均虚报率大于10%。最终剔除被试3人, 剩余有效被试24人。经统计, 即使包含删除数据, 现有统计结果的各主效应与交互作用的显著性也没有改变。

3.1 正确率

对正确率进行2(SOA条件: 400~600 ms、1000~1200 ms) × 3(目标刺激类型:视觉、听觉、视听觉) × 2(线索有效性:有效线索、无效线索)的重复测量方差分析。

结果显示:SOA主效应不显著, F(1, 23) = 0.13, p = 0.72; 目标刺激类型主效应不显著, F(2, 46) = 2.35, p = 0.11; 线索有效性主效应不显著, F(1, 23) = 0.01, p = 0.92; 各因素间的交互作用均不显著, Fs < 2.35, ps > 0.11。

研究结果显示, 所有被试在各目标刺激类型(视觉、听觉、视听觉)上的正确率均高达95%以上, 各因素主效应及其交互作用均不显著, 并没有表现出对双通道目标的加工优势。这可能是由于本研究中采用的检测任务相比以往研究中的Go/No-go定位检测任务(van der Stoep et al., 2015; van der Stoep et al., 2016)更简单, 出现天花板效应而造成, 因此后面不再对正确率进行进一步讨论。

3.2 反应时

对反应时进行2 (SOA条件:400~600 ms、1000~1200 ms) × 3(目标刺激类型:视觉、听觉、视听觉) × 2(线索有效性:有效线索、无效线索)的重复测量方差分析。

结果显示:SOA主效应显著, F(1, 23) = 4.60, p = 0.043, ηp2 = 0.17, 短SOA条件下反应时(322 ms)显著快于长SOA条件(334 ms)。目标刺激类型主效应显著, F(2, 46) = 99.06, p < 0.001, ηp2 = 0.81, 进一步分析表明, 视听觉目标反应时(301 ms)显著快于听觉目标(331 ms, p < 0.001)与视觉目标(352 ms, p < 0.001), 听觉目标反应时(331 ms)显著快于视觉目标(352 ms, p < 0.001)。线索有效性主效应显著, F(1, 23) = 165.27, p < 0.001, ηp2 = 0.88, 无效线索位置上的反应时(319 ms)显著快于有效线索位置(336 ms)。

三因素交互作用显著, F(2, 46) = 6.95, p = 0.003, ηp2 = 0.23。在短SOA条件下, 目标刺激类型与线索有效性交互作用显著, F(2, 46) = 59.15, p < 0.001, ηp2 = 0.72。具体结果如图2(a)所示:在听觉目标上, 无效线索位置(320 ms)与有效线索位置(322 ms)上的反应时无显著差异; 在视听觉目标上, 无效线索位置上的反应时(M = 287 ms, SD = 42.55 ms)显著快于有效线索位置(M = 303 ms, SD = 42.27 ms, t(23) = 7.43, p < 0.001, d = 0.37, 95% CI = [11.55, 20.45]); 在视觉目标上, 无效线索位置上的反应时(M = 330 ms, SD = 52.23 ms)显著快于有效线索位置(M = 368 ms, SD = 48.41 ms, t(23) = 11.09, p < 0.001, d = 0.76, 95% CI = [31.54, 46])。另外, 在长SOA条件下, 目标刺激类型与线索有效性交互作用也显著, F(2, 46) =14.42, p < 0.001, ηp2 = 0.39, 简单效应分析结果显示:在听觉目标上, 无效线索位置上的反应时(M = 337 ms, SD = 60.14 ms)显著快于有效线索位置(M = 343 ms, SD = 56.57 ms, t(23) = 2.26, p = 0.033, d = 0.1, 95% CI = [0.51, 11.24]); 在视听觉目标上, 无效线索位置上的反应时(M = 300 ms, SD = 52.72 ms)显著快于有效线索位置(M = 311 ms, SD = 55.61 ms, t(23) =4.51, p < 0.001, d = 0.2, 95% CI = [5.88, 15.83]); 在视觉目标上, 无效线索位置上的反应时(M = 342 ms, SD = 59.82 ms)仍然显著快于有效线索位置(M = 369 ms, SD = 56.51 ms, t(23) = 7.38, p < 0.001, d = 0.46, 95% CI = [19.42, 34.54])。可见, 除短SOA条件下的听觉目标未发生显著的IOR效应外, 其它条件下均发生显著的IOR效应。依据Cohen提出对ηp2值效果量大小的判断标准(Cohen, 1988), 本研究中所有方差分析的效果量均较大, 因此以下不再赘述。另外, 依据Cohen提出对d值效果量大小的判断标准, d = 0.2、d = 0.5和d = 0.8分别对应于小、中、大的效应量(温忠麟, 范息涛, 叶宝娟, 陈宇帅, 2016), 因此在长SOA条件下, 虽然听觉目标上IOR效应达到显著性水平, 但效应量较小, 并不能代表该条件下听觉目标能产生稳定的IOR效应。

图2

图2   不同条件下的平均反应时和IOR效应

注:图(a)中的反应时结果为平均中位数。图(b)中IOR效应由有效线索位置上目标的平均反应时减去无效线索位置上目标的平均反应时。* p < 0.05; *** p < 0.001。


3.3 返回抑制(IOR)

首先计算出不同SOA条件下各目标刺激类型的IOR效应量(有效线索减去无效线索位置上的平均反应时), 再对其进行2(SOA条件:400~600 ms、1000~1200 ms) × 3(目标刺激类型:视觉、听觉、视听觉)的重复测量方差分析。

结果如图2(b)及表1所示:SOA主效应显著, F(1, 23) = 4.81, p = 0.039, ηp2 = 0.17, 短SOA条件的IOR效应(18.87 ms)显著大于长SOA (14.57 ms, p = 0.039)。目标刺激类型主效应显著, F(2, 46) =47.95, p < 0.001, ηp2 = 0.68, 视觉目标的IOR效应(32 ms)显著大于视听觉目标(13 ms, p < 0.001)和听觉目标(4 ms, p < 0.001); 视听觉目标的IOR效应(13 ms)显著大于听觉目标(4 ms, p = 0.001)。目标刺激类型与SOA交互作用显著, F(2, 46) = 6.09, p = 0.005, ηp2 = 0.21, 配对比较结果显示:在听觉与视听觉目标上, 不同SOA之间的IOR效应没有显著差异, 但在视觉目标上, 短SOA条件的IOR效应(M = 39 ms, SD = 17.13 ms)显著大于长SOA (M = 27 ms, SD = 17.9 ms, p = 0.001, t(23) = -3.72, p = 0.001, d = 0.67, 95% CI = [5.24, 18.34])。另外, 在短SOA条件下, 视觉目标IOR效应(M = 39 ms, SD = 17.13 ms)显著大于视听觉目标(M = 16 ms, SD = 10.55 ms, t(23) = -6.41, p < 0.001, d = 1.6, 95% CI = [-30.12, 15.43])。在长SOA条件下, 视觉目标IOR效应(M = 27 ms, SD = 17.9 ms)也显著大于视听觉(M = 11 ms, SD = 11.79 ms, t(23) = -3.21, p = 0.004, d = 1.06, 95% CI = [-26.51, -5.74])。依据Cohen提出对d值效果量大小的判断标准, 我们有充分理据认为:相比长SOA条件, 视觉IOR在短SOA条件下的效应量更大, 且无论在短还是长SOA条件下, 视觉IOR效应量的确大于视听觉IOR效应。

表1   不同SOA条件下Cueing effect、rMRE、pAUC结果对比

条件M95% CItp
下限上限
短SOA
Cueing effect (ms)
V38.7731.5446.0011.090.000
A1.83-1.435.101.160.257
AV16.0011.5520.457.430.000
Cueing effect对比(ms)
AV vs. V-22.77-30.12-15.43-6.410.000
V vs. A36.9428.5345.349.090.000
AV vs. A14.179.0619.285.740.000
rMRE对比(%)
无效vs.有效3.201.534.873.970.001
pAUC对比(ms)
无效vs.有效-4.30-6.64-1.96-3.800.001
长SOA
Cueing effect (ms)
V26.9819.4234.547.380.000
A5.880.5111.242.260.033
AV10.855.8815.834.510.000
Cueing effect对比(ms)
AV vs. V-16.13-26.51-5.74-3.210.004
V vs. A21.1014.2427.976.360.000
AV vs. A4.98-2.8812.841.310.203
rMRE对比(%)
无效 vs. 有效0.4-1.782.590.380.706
pAUC对比(ms)
无效 vs. 有效2.14-1.125.401.360.188

注:Cueing effect为有效线索减去无效线索值,M为平均数, 95% CI为95%置信区间, rMRE代表相对多感觉反应增强, pAUC代表曲线下正值面积。无效 vs. 有效代表对无效线索与有效线索进行配对样本t(双尾)检验。

新窗口打开| 下载CSV


3.4 相对多感觉反应增强(rMRE)

首先对不同SOA条件不同线索有效性的rMRE进行单样本t检验(与0进行比较), ts (23) > 7.58, ps < 0.001, 结果显示均显著大于0, 代表与单通道(视觉或听觉)目标中最短的反应时相比, 个体对同时呈现的双通道视听觉目标反应更快, 产生冗余信号效应。接下来对rMRE进行2(SOA条件:400~600 ms、1000~1200 ms) × 2(线索有效性:有效线索、无效线索)的重复测量方差分析。结果如图4(a)所示:SOA主效应不显著, F(1, 23) = 3.66, p > 0.05。线索有效性主效应显著, F(1, 23) = 6.63, p = 0.017, ηp2 = 0.22, 无效线索位置上的rMRE (8.97%)显著大于有效线索位置(7.16%)。SOA与线索有效性交互作用显著, F(1, 23) = 4.98, p = 0.036, ηp2 = 0.18, 配对比较结果显示:在短SOA条件下, 无效线索位置上的rMRE (M = 9.13%, SD = 4.07%)显著大于有效线索位置(M = 5.93%, SD = 3.83%, t(23) = -3.97, p = 0.001, d = 0.81, 95% CI = [-4.87, -1.53])。然而在长SOA条件下, 有效线索位置(M = 8.39%, SD = 3.78%)与无效线索位置(M = 8.79%, SD = 3.93%)上的rMRE不存在显著差异, t(23) = -0.38, p = 0.706。依据Cohen提出对d值效果量大小的判断标准, 我们有充分理据认为:在短SOA条件下, 无效线索位置上的rMRE的确大于有效线索位置。

图4

图4   不同SOA条件下不同线索有效性的rMRE/pAUC

注:* p < 0.05; ** p < 0.01。


3.5 竞争模型分析(race model)

首先, 在反应时0~1000 ms区间, 求出每10 ms时间段上不同SOA条件下不同线索有效性的概率值:视觉P (RTv < t)、听觉P (RTA < t)和视听觉P (RTAV < t)不同条件下实际AV累积概率(CPAV)与竞争模型预测累积概率(CPRace model)在反应时(0~ 1000 ms)上的结果如图3(a-b)所示。其次, 将不同SOA条件下不同线索有效性的CPAV减CPRace model的累计概率差异值在每10 ms上进行单样本t检验(与0进行比较)。结果如图3(c)所示:在短SOA (400~600 ms)条件下, 有效线索位置上显著违反竞争模型(显著大于0)的时间窗口是80 ms (280 ~ 350 ms), ts (23) > 2.64, ps < 0.015, 峰值在320 ms, 为0.07。无效线索位置上显著违反竞争模型的时间窗口是130 ms (230~360 ms), ts (23) > 2.25, ps < 0.035, 峰值在310 ms, 为0.08。在长SOA (1000~ 1200 ms)条件下, 有效线索位置上显著违反竞争模型的时间窗口是160 ms (220 ~ 370 ms), ts (23) > 2.78, ps < 0.025, 峰值在320 ms, 为0.11。无效线索位置上显著违反竞争模型的时间窗口是120 ms (230 ~ 340 ms), ts (23) > 2.24, ps < 0.035, 峰值在290 ms, 为0.09。即在短SOA条件下, 无效线索位置相比有效线索位置违反竞争模型的时间窗口更长, 发生的时间更早且峰值更大; 在长SOA条件下, 有效线索位置反而比无效线索位置违反竞争模型的时间窗口更长, 发生时间窗口更晚且峰值更大。上述结果表明, 在短SOA (400~600 ms)条件下, 无效线索位置上的视听觉整合效应大于有效线索位置, 然而在长SOA (1000~1200 ms)条件下, 有效线索位置上的视听觉整合效应反而大于无效线索位置。

图3

图3   不同SOA条件下不同线索有效性的反应时竞争模型分析

注:图(c)中加粗横线表示显著违反竞争模型(实际AV累积概率(CPAV)显著大于竞争模型预测累积概率(CPRace model))的时间窗口, 红色虚线代表有效线索位置, 黑色实线代表无效线索位置。*代表峰值(最大概率值)出现的时间。


3.6 曲线下正值面积(pAUC)

对pAUC进行2(SOA条件:400~600 ms、1000~1200 ms) × 2(线索有效性:有效线索、无效线索)的重复测量方差分析。结果如图4(b)所示:SOA主效应显著, F(1, 23) = 6.66, p = 0.017, ηp2 = 0.22, 长SOA条件下的pAUC (9.92 ms)显著大于短SOA条件(7.23 ms)。线索有效性主效应不显著, F(1, 23) = 0.55, p > 0.05。SOA与线索有效性交互作用显著, F(1, 23) = 16.28, p = 0.001, ηp2 = 0.41。配对比较结果显示:在短SOA条件下, 无效线索位置上的pAUC (M = 9.38 ms, SD = 4.92 ms)显著大于有效线索位置(M = 5.08 ms, SD = 3.73 ms, t(23) = -3.8, p = 0.001, d = 0.99, 95% CI = [-6.64, -1.96]); 而在长SOA条件下, 无效线索(M = 8.85 ms, SD = 6.03 ms)与有效线索位置上的pAUC (M =10.99 ms, SD = 7.35 ms) 无显著差异。依据Cohen提出对d值效果量大小的判断标准, 我们有充分理据认为:在短SOA条件下,无效线索位置上pAUC显著大于有效线索位置。

3.7 单通道视、听觉反应时差异结果分析

首先对单通道视(V)、听觉(A)反应时差异绝对值与rMRE (M = 9.21%, SD = 3.16%)进行皮尔逊相关分析。结果显示单通道A、V反应时之差与rMRE间存在显著负相关(r = - 0.716, p < 0.001), 即, 单通道A、V反应时之差越小, rMRE越大, 反之亦然。前人研究发现当不同感觉通道之间的信号强度差异过大时, 多感觉整合效应更小, 而当不同感觉通道之间的信号强度相近时, 多感觉整合效应更大(Otto et al., 2013)。因此, 当有效线索位置上单通道A、V反应时之差过大时, 信号强度差异也更大, 视听觉整合效应相应减小, 而在无效线索位置上单通道A、V反应时之差相近时, 信号强度差异也更近, 视听觉整合效应则更大。

进一步对不同线索有效性位置上不同SOA条件下的单通道A、V反应时之差进行比较。结果如图5所示:在有效线索位置上, 短SOA条件下的单通道A、V反应时之差显著大于长SOA条件[46 ms vs. 35 ms, t(23) = 2.42, p = 0.024]。而在无效线索位置上, 短SOA与长SOA条件下的单通道A、V反应时之差并无显著差异[19 ms vs. 21 ms, t(23) = -0.398, p > 0.05。可见, 在有效线索位置上, 短SOA条件下单通道A、V反应时之差显著大于长SOA条件下, 因而短SOA条件下的视听觉整合效应显著减小。

图5

图5   不同SOA条件下不同线索有效性的视、听觉反应时之差

注:* p < 0.05。


4 讨论

本研究基于外源性线索-靶子范式, 由注视点两侧的白色正方形作为外源性视觉注意线索, 同时操控不同SOA条件(400~600 ms、1000~1200 ms), 目标刺激类型(视觉、听觉、视听觉)和线索有效性(有效线索、无效线索)来考察视觉IOR对视听觉整合的调节作用。

4.1 不同目标刺激类型上的IOR效应

研究发现, 在听觉通道目标上, 仅在长SOA条件下发现IOR效应。以往研究结果显示, 相比诱发同一感觉通道内的IOR, 跨通道IOR的发生会有所延迟。例如, 视觉线索在SOA 1050~1250 ms (Spence et al., 2000)以及1000/1300 ms条件下(Reuter-Lorenz, Jha, & Rosenquist, 1996)成功诱发听觉IOR效应。而在SOA 350~450 ms (van der Stoep et al., 2016), 575 ms (Schmitt, Postma, & De, 2000)以及650 ms (Yang & Mayer, 2014)条件下并未诱发出听觉IOR效应。可见, 通常在更长的SOA条件下才能观察到跨通道视-听觉IOR效应(Spence et al., 2000; Ward, Mcdonald, & Lin, 2000)。因此, 本研究中, 听觉目标的IOR效应只在长SOA (1000~1200 ms)条件下被观察到。

在视觉通道目标上, 随SOA的增长, 视觉IOR效应显著降低, 这与以往研究结果部分一致(Agusti, Satorres, Pitarque, & Meléndez, 2017; Wascher & Tipper, 2004)。然而也有研究表明, 在一定时间(例如, 1000 ms)范围内, 随SOA的增长, IOR效应有所增强(Tassinari, Aglioti, Chelazzi, Peru, & Berlucchi, 1994; Wascher & Tipper, 2004)。

在视听觉通道目标上, 无论在短还是长SOA条件下均发生显著的IOR效应, 但两者之间并无显著差异。van der Stoep等(2016)在SOA为350~450 ms的条件下, 并未得到视觉线索能够诱发视听觉目标IOR的结果。分析其原因:一方面, 可能是由于本研究中加入的中央重新定向事件(central reorienting event, CRE)发挥了作用, 强制被试的注意由周边位置回到中央注视点(Pratt & Fischer, 2002; Reuter- Lorenz et al., 1996)。另一方面, 大量研究表明, 实验任务难度是影响IOR的一个重要因素(Martínarévalo et al., 2015), 相比任务难度较简单的检测任务, 辨别任务中IOR的出现需要更长的SOA且其效应量更小(Chica, Lupianez, & Bartolomeo, 2006; Lupiáñez, Milán, Tornay, Madrid, & Tudela, 1997; Lupiáñez, Ruz, Funes, & Milliken, 2007)。因此, 相比以往研究中的Go/No-go定位检测任务, 本研究采用的简单检测任务能够更早地诱发出视听觉目标的IOR效应, 即使在短SOA (400~600 ms)条件下。

4.2 IOR对视听觉整合效应的调节作用

在反应时结果上, 无论在短还是长SOA条件下, 视听觉双通道目标的反应时均显著快于单通道的视觉、听觉目标, 即产生冗余信号效应, 这与以往研究结果一致(Hershenson, 1962; & Woldorff, 2005)。这种促进效应作为视听觉整合的主要行为学指标之一(Raab, 1962; Stein & Meredith, 1993), 体现了双通道信息的加工优势。另外, 基于rMRE、Race Model (Probability differenc)及pAUC这三种反映多感觉整合效应的统计指标结果(具体见方法部分)。研究发现, 在不考虑目标刺激呈现位置(外源性有效线索位置、无效线索位置)的情况下, 随着SOA的增长, 总体视听觉整合效应显著增强。然而, 通过在视听觉目标刺激前设置外源性线索, 区分出的外源性有效线索与无效线索两个位置, 发现短SOA (400~600 ms)时, 有效线索位置上的视听觉整合效应显著大于无效线索位置, 与以往研究结果一致(van der Stoep et al., 2016)。但长SOA (1000~ 1200 ms)时, 有效与无效线索位置上的视听觉整合效应并无显著差异。

具体来看, 在短SOA条件下, 外源性注意减小有效线索位置上的视听觉整合效应。基于感知觉敏感度假说, van der Stoep等(2016)认为视觉IOR效应与有效线索位置上感知觉敏感度的降低相关(Slagter, Prinssen, Reteig, & Mazaheri, 2016), 由于反比效应原则中低强度刺激引起的多感觉整合效应更大, 当前的行为学结果并不支持该假说。基于空间不确定性假说, 有效线索位置上外源性线索与视听觉目标本身引起的空间定向信息是冗余的。当目标位置的空间不确定性提高线索空间定向的重要性时, 视听觉目标整合的重要性则会降低, 最终得到有效线索位置上视听觉整合效应减少的结果。基于感觉通道间信号强度差异假说, 视觉线索只引起了视觉通道目标的IOR效应, 并没有引起听觉通道目标的IOR效应。当有效线索位置上视觉目标的加工时间由于返回抑制变得更慢, 听觉目标并没有更慢时, 视、听感觉通道间加工速度的差异增大会导致信号强度差异也随之增大, 最终得到有效线索位置上视听觉整合效应减少的结果。可见, 短SOA条件下的结果既支持空间不确定性假说又支持感觉通道间信号强度差异假说。

然而, 在长SOA条件下, 有效与无效线索位置上的视听觉整合效应并无显著差异, 且所有目标刺激通道类型上均发生显著的IOR效应, 因此当前行为学结果仍然不支持感知觉敏感度假说。基于空间不确定假说, 目标刺激呈现位置的空间不确定性一直存在, 因此多感觉整合效应在有效线索位置上应当有所减小, 结果并不支持该假说。我们推测, 长时间延时准备的线索-靶子范式中考察的外源性注意在某种程度上会转换为内源性注意。在以往关于内源性注意与视听觉整合关系的研究中, 研究者们发现内源性注意能够通过调节机制降低感觉通道内的干扰信息从而增强视听觉信息输入的可靠性(Macaluso et al., 2016), 最终增强注意位置(相当于有效线索位置)上的视听觉整合效应(Tang et al., 2016)。也就是说, 由于SOA时间的增长, 可能使得被试对外源性线索产生了心理准备, 从而降低外源性线索空间定向的重要性, 最终得到有效线索位置与无效线索位置上整合效应无显著差异的结果。基于感觉通道间信号强度差异假说, 视觉线索不仅引起视觉通道目标还引起听觉通道目标的IOR效应, 单通道视、听通道间反应时之差相比短SOA条件显著减小, 当不同线索有效性(有效线索、无效线索)位置上的单通道视、听觉加工速度相近时, 不同线索有效性位置上视听觉整合效应并无显著差异。可见, 长SOA条件下的结果支持感觉通道间信号强度差异假说。

4.3 视听觉整合效应对IOR的影响

基于本研究的行为学实验结果, IOR与视听觉整合效应可能存在交互关系, 即, 视听觉整合也能够影响IOR。具体来看, 无论在短还是长SOA条件下, 视听觉目标的IOR效应均显著小于视觉目标。以往研究发现, 与视觉目标同时呈现的听觉刺激不仅可以增强感知的视觉亮度(Stein, London, Wilkinson, & Price, 1996), 还可以降低视觉对比阈值(Lippert, Logothetis, & Kayser, 2007; Noesselt et al., 2010)。另外, 代表视听觉整合的P50成分(Giard & Peronnet, 1999; Talsma, Doty, & Woldorff, 2007)与视觉目标的感知觉显著性增加有关(van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008; van der Burg, Talsma, Olivers, Hickey, & Theeuwes, 2011)。也就是说, 同时呈现的听觉刺激能够增强视觉目标的感知觉显著性。而IOR作为偏好获取新信息以促进视觉搜索效率的机制(Klein, 1988; Klein, 2000; Posner, Rafal, Choate, & Vaughan, 1985), 可以通过降低先前探索过空间位置(即, 有效线索位置)的显著性来促进视觉探索, 使得视野中其它未探索的位置(即, 无效线索位置)能够超越探索过位置的注意(Koningsbruggen, Gabay, Sapir, Henik, & Rafal, 2010; Prime & Ward, 2006)。如上所述, 当视听觉目标IOR (降低显著性)遇到视听觉整合(增加感知觉显著性)时, 视听觉整合可以帮助视听觉目标抵抗其在早期感知/注意处理中被抑制。因此, 在本研究中, 无论在短还是长SOA条件下, 视听觉IOR效应均显著小于视觉IOR。

综上所述, IOR与视听觉整合两者间可能存在交互关系。一方面, 视听觉整合能够调节视听觉目标的感知觉显著性, 从而帮助视听觉目标抵抗在外源性线索-靶子范式中的抑制效应。另一方面, IOR能够调节视听觉整合效应, 当前结果支持感觉通道间信号强度差异假说。

5 结论

在不同SOA条件下, 视觉IOR对视听觉整合的调节作用产生变化。在短SOA上, 视觉IOR减少视听觉整合效应; 在长SOA上, 视觉通道IOR效应的降低, 减弱对视听觉整合效应的调节作用。当前研究结果支持感觉通道间信号强度差异假说。

参考文献

Agusti A. I., Satorres E., Pitarque A., & Meléndez J. C . ( 2017).

Effects of SOA and age on the inhibition of return in a localization task

Current Psychology, 1-6.

[本文引用: 1]

Calvert G. A., Spence C.& Stein, B. E.. ,( 2004). The handbook of multisensory processes. MIT Press.

[本文引用: 1]

Carrasco M. , (2011).

Visual attention: The past 25 years

Vision Research, 51( 13), 1484-1525.

DOI:10.1016/j.visres.2011.04.012      URL     [本文引用: 1]

Chica A. B., Bartolomeo P., & Lupiáñez J . ( 2013).

Two cognitive and neural systems for endogenous and exogenous spatial attention

Behavioural Brain Research, 237( 1), 107-123.

DOI:10.1016/j.bbr.2012.09.027      URL     [本文引用: 1]

Chica A. B., Lupianez J., & Bartolomeo P . ( 2006).

Dissociating inhibition of return from endogenous orienting of spatial attention: Evidence from detection and discrimination tasks

Cognitive Neuropsychology, 23( 7), 1015-1034.

DOI:10.1080/02643290600588277      URL     [本文引用: 1]

Cohen J. , ( 1988).

Statistical power analysis for the behavioral sciences (2nd Edition).

Erlbaum Associates.

[本文引用: 1]

Giard M.H., & Peronnet F. , ( 1999).

Auditory-visual integration during multimodal object recognition in humans: A behavioral and electrophysiological study

Journal of Cognitive Neuroscience, 11( 5), 473-490.

DOI:10.1162/089892999563544      URL     [本文引用: 1]

Hershenson M. , ( 1962).

Reaction time as a measure of intersensory facilitation

Journal of Experimental Psychology, 63( 3), 289-293.

DOI:10.1037/h0039516      URL     [本文引用: 1]

Klein R. , ( 1988).

Inhibitory tagging system facilitates visual search

Nature, 334( 6181), 430-431.

[本文引用: 1]

Klein R. . ( 2000).

Inhibition of return

Trends in Cognitive Sciences, 4( 4), 138-147.

DOI:10.1016/S1364-6613(00)01452-2      URL     [本文引用: 1]

Koningsbruggen M. G., Gabay S., Sapir A., Henik A., & Rafal R. D . ( 2010).

Hemispheric asymmetry in the remapping and maintenance of visual saliency maps: A TMS study

Journal of Cognitive Neuroscience, 22( 8), 1730-1738.

DOI:10.1162/jocn.2009.21356      URL     [本文引用: 1]

Laurienti P. J., Burdette J. H., Maldjian J. A., & Wallace M. T . ( 2006).

Enhanced multisensory integration in older adults

Neurobiology of Aging, 27( 8), 1155-1163.

DOI:10.1016/j.neurobiolaging.2005.05.024      URL     [本文引用: 1]

Lippert M., Logothetis N. K., & Kayser C . ( 2007).

Improvement of visual contrast detection by a simultaneous sound

Brain Research, 1173( 1173), 102-109.

DOI:10.1016/j.brainres.2007.07.050      URL     [本文引用: 1]

Liu Q . ( 2010).

The research on brain mechanism of the multisenory integration (Unpublished doctorial dissertation)

Southwest University, China.

[本文引用: 1]

[ 刘强 . ( 2010).

多感觉整合脑机制研究(博士学位论文)

西南大学.]

[本文引用: 1]

Lupiáñez J., Milán E. G., Tornay F. J., Madrid E., & Tudela P . ( 1997).

Does IOR occur in discrimination tasks? Yes, it does, but later

Perception & Psychophysics, 59( 8), 1241-1254.

[本文引用: 1]

Lupiáñez J., Ruz M., Funes M. J., & Milliken B . ( 2007).

The manifestation of attentional capture: Facilitation or IOR depending on task demands

Psychological Research, 71( 1), 77-91.

DOI:10.1007/s00426-005-0037-z      URL     [本文引用: 1]

Macaluso E., Noppeney U., Talsma D., Vercillo T., Hartcher-O’Brien J., & Adam R . ( 2016).

The curious Incident of attention in multisensory integration: Bottom- up vs. top-down

Multisensory Research, 29( 6-7), 557-583.

DOI:10.1163/22134808-00002528      URL     [本文引用: 1]

Martínarévalo E., Chica A. B., & Lupiáñez J . ( 2015).

No single electrophysiological marker for facilitation and inhibition of return: A review

Behavioural Brain Research, 300, 1-10.

[本文引用: 3]

McDonald J. J., Tedersälejärvi W. A., Russo F. D., & Hillyard S. A . ( 2005).

Neural basis of auditory-induced shifts in visual time-order perception

Nature Neuroscience, 8( 9), 1197-1202.

[本文引用: 1]

Miller J. , ( 1982).

Divided attention: Evidence for coactivation with redundant signals

Cognitive Psychology, 14( 2), 247-279.

DOI:10.1016/0010-0285(82)90010-X      URL     [本文引用: 2]

Miller J. ( 1986).

Time course of coactivation in bimodal divided attention

Perception & Psychophysics, 40( 5), 331-343.

[本文引用: 3]

Noesselt T., Tyll S., Boehler C. N., Budinger E., Heinze H. J., & Driver J . ( 2010).

Sound-induced enhancement of low-intensity vision: Multisensory influences on human sensory-specific cortices and thalamic bodies relate to perceptual enhancement of visual detection sensitivity

Journal of Neuroscience, 30( 41), 13609-13623.

DOI:10.1523/JNEUROSCI.4524-09.2010      URL     [本文引用: 1]

Otto T. U., Dassy B., & Mamassian P . ( 2013).

Principles of multisensory behavior

Journal of Neuroscience, 33( 17), 7463-7474.

DOI:10.1523/JNEUROSCI.4678-12.2013      URL     [本文引用: 2]

Posner M.I., & Cohen Y. , ( 1984).

Components of visual orienting

Attention and Performance X: Control of Language Processes, 32, 531-556.

[本文引用: 1]

Posner M. I., Rafal R. D., Choate L. S., & Vaughan J . ( 1985).

Inhibition of return: Neural basis and function

Cognitive Neuropsychology, 2( 3), 211-228.

DOI:10.1080/02643298508252866      URL     [本文引用: 1]

Pratt J., & Fischer M.H . ( 2002).

Examining the role of the fixation cue in inhibition of return

Canadian Journal of Experimental Psychology/Revue Canadienne de Psychologie Expérimentale, 56( 4), 294-301.

DOI:10.1037/h0087405      URL     [本文引用: 1]

Prime D. J., Visser T. A. W., & Ward L. M . ( 2006).

Reorienting attention and inhibition of return

Perception & Psychophysics, 68( 8), 1310-1323.

[本文引用: 2]

Prime D.J., & Ward L.M . ( 2006).

Cortical expressions of inhibition of return

Brain Research, 1072( 1), 161-174.

DOI:10.1016/j.brainres.2005.11.081      URL    

Raab D.H . ( 1962).

Statistical facilitation of simple reaction times

Transactions of the New York Academy of Sciences, 24( 5), 574-590.

DOI:10.1111/j.2164-0947.1962.tb01433.x      URL     [本文引用: 3]

Reuter-Lorenz P. A., Jha A. P., & Rosenquist J. N . ( 1996).

What is inhibited in inhibition of return?

Journal of Experimental Psychology: Human Perception and Performance, 22( 2), 367-378.

DOI:10.1037/0096-1523.22.2.367      URL     [本文引用: 3]

Schmitt M., Postma A., & De H. E . ( 2000).

Interactions between exogenous auditory and visual spatial attention

The Quarterly Journal of Experimental Psychology. A, Human Experimental Psychology, 53( 1), 105-130.

DOI:10.1080/713755882      URL     [本文引用: 1]

Senkowski D., Saint-Amour D., Höfle M., & Foxe J. J . ( 2011).

Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness

Neuroimage, 56( 4), 2200-2208.

DOI:10.1016/j.neuroimage.2011.03.075      URL     [本文引用: 1]

Slagter H. A., Prinssen S., Reteig L. C., & Mazaheri A . ( 2016).

Facilitation and inhibition in attention: Functional dissociation of pre-stimulus alpha activity, P1, and N1 components

Neuroimage, 125( 6), 25-35.

DOI:10.1016/j.neuroimage.2015.09.058      URL     [本文引用: 1]

Spence C. , ( 2010).

Crossmodal spatial attention

Annals of the New York Academy of Sciences, 1191( 1), 182-200.

DOI:10.1111/nyas.2010.1191.issue-1      URL     [本文引用: 1]

Spence C., & Driver J. , ( 2004).

Crossmodal space and crossmodal attention

Politics.

[本文引用: 1]

Spence C., Lloyd D., Mcglone F., Nicholls M. E. R., & Driver J . ( 2000).

Inhibition of return is supramodal: A demonstration between all possible pairings of vision, touch, and audition

Experimental Brain Research, 134( 1), 42-48.

DOI:10.1007/s002210000442      URL     [本文引用: 3]

Stein B. E., London N., Wilkinson L. K., & Price D. D . ( 1996).

Enhancement of perceived visual intensity by auditory stimuli: a psychophysical analysis

Journal of Cognitive Neuroscience, 8( 6), 497-506.

DOI:10.1162/jocn.1996.8.6.497      URL     [本文引用: 1]

Stein B.E., & Meredith M.A . ( 1993).

The merging of the senses

Journal of Cognitive Neuroscience, 5( 3), 373-374.

DOI:10.1162/jocn.1993.5.3.373      URL     [本文引用: 1]

Stein B.E., & Stanford T.R . ( 2008).

Multisensory integration: Current issues from the perspective of the single neuron

Nature Reviews Neuroscience, 9( 4), 255-266.

[本文引用: 1]

Talsma D., Doty T. J., & Woldorff M. G . ( 2007).

Selective attention and audiovisual integration: Is attending to both modalities a prerequisite for early integration?

Cerebral Cortex, 17( 3), 679-690.

[本文引用: 1]

Talsma D., Senkowski D., Soto-Faraco S., & Woldorff M. G . ( 2010).

The multifaceted interplay between attention and multisensory integration

Trends in Cognitive Sciences, 14( 9), 400-410.

DOI:10.1016/j.tics.2010.06.008      URL     [本文引用: 1]

Talsma D., & Woldorff M.G . ( 2005).

Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity

Journal of Cognitive Neuroscience, 17( 7), 1098-1114.

DOI:10.1162/0898929054475172      URL     [本文引用: 1]

Tang X. Y., Wu J. L., & Shen Y . ( 2016).

The interactions of multisensory integration with endogenous and exogenous attention

Neuroscience & Biobehavioral Reviews, 61, 208-224.

[本文引用: 3]

Tang X. Y., Gao Y. L., Yang W. P., Ren Y. N., Wu J. L., Zhang M., Wu Q .(in press).

Bimodal-divided attention attenuates visually induced inhibition of return with audiovisual targets

Experimental Brain Research. First online 15 Feb. 2019,

URL     [本文引用: 1]

Tassinari G., Aglioti S., Chelazzi L., Peru A., & Berlucchi G . ( 1994).

Do peripheral non-informative cues induce early facilitation of target detection?

Vision Research, 34( 2), 179-189.

DOI:10.1016/0042-6989(94)90330-1      URL     [本文引用: 1]

Ulrich R., Miller J., & Schröter H . ( 2007).

Testing the race model inequality: An algorithm and computer programs

Behavior Research Methods, 39( 2), 291-302.

DOI:10.3758/BF03193160      URL     [本文引用: 3]

van der Burg E., Olivers C. N. L., Bronkhorst A. W., & Theeuwes J . ( 2008).

Pip and pop: Nonspatial auditory signals improve spatial visual search

Journal of Experimental Psychology: Human Perception and Performance, 34( 5), 1053-1065.

DOI:10.1037/0096-1523.34.5.1053      URL     [本文引用: 1]

van der Burg E., Talsma D., Olivers C. N. L., Hickey C., & Theeuwes J . ( 2011).

Early multisensory interactions affect the competition among multiple visual objects

Neuroimage, 55( 3), 1208-1218.

DOI:10.1016/j.neuroimage.2010.12.068      URL     [本文引用: 1]

van der Stoep N., van der Stigchel S& Nijboer, T. C. W. ., ( 2015).

Erratum to: Exogenous spatial attention decreases audiovisual integration

Attention Perception & Psychophysics, 77( 1), 464-482.

[本文引用: 6]

van der Stoep N., van der Stigchel S., Nijboer T. C., & Spence C . ( 2016).

Visually induced inhibition of return affects the integration of auditory and visual information

Perception, 46( 1), 6-17.

[本文引用: 11]

Ward L. M., Mcdonald J. J., & Lin D . ( 2000).

On asymmetries in cross-modal spatial attention orienting

Percept Psychophys, 62( 6), 1258-1264.

DOI:10.3758/BF03212127      URL     [本文引用: 1]

Wascher E., & Tipper S.P . ( 2004).

Revealing effects of noninformative spatial cues: an EEG study of inhibition of return

Psychophysiology, 41( 5), 716-728.

DOI:10.1111/psyp.2004.41.issue-5      URL     [本文引用: 2]

WEN Z. L., FAN X. T., YE B. J., & CHEN Y. S . ( 2016).

Characteristics of an effect size and appropriateness of mediation effect size measures revisited

Acta Psychologica Sinica, 48( 4), 435-443.

[本文引用: 1]

[ 温忠麟, 范息涛, 叶宝娟, 陈宇帅 . ( 2016).

从效应量应有的性质看中介效应量的合理性

心理学报, 48( 4), 435-443.]

[本文引用: 1]

Yang W. P., Chu B. Q., Yang J. J., Yu Y. H., Wu J. L., & Yu S. Y . ( 2014).

Elevated audiovisual temporal interaction in patients with migraine without aura

The Journal of Headache and Pain, 15( 1), 44.

[本文引用: 1]

Yang Z., & Mayer A.R . ( 2014).

An event-related FMRI study of exogenous orienting across vision and audition

Human Brain Mapping, 35( 3), 964-974.

DOI:10.1002/hbm.22227      URL     [本文引用: 1]

/


版权所有 © 《心理学报》编辑部
地址:北京市朝阳区林萃路16号院 
邮编:100101 
电话:010-64850861 
E-mail:xuebao@psych.ac.cn
备案编号:京ICP备10049795号-1 京公网安备110402500018号

本系统由北京玛格泰克科技发展有限公司设计开发