ISSN 1671-3710
CN 11-4766/R
主办:中国科学院心理研究所
出版:科学出版社

心理科学进展 ›› 2023, Vol. 31 ›› Issue (suppl.): 59-59.

• 视觉与运动 • 上一篇    下一篇

使用DCNN研究有意识和无意识的工具的工具性和狭长形状的表征

王仪瑾a, 邓芷晴a, 朱福英a, 李自娜a, 陈娟a   

  1. a华南师范大学心理学院,心理应用研究中心,广东省心理健康与认知科学重点 实验室,广州 510631
  • 出版日期:2023-08-26 发布日期:2023-09-08

  • Online:2023-08-26 Published:2023-09-08

摘要: 目的:工具的制造和使用被认为是人类区别于动物的重要标志。在观看工具时,腹背侧视觉通路都能得到激活,这使得工具相较其他物体更加特殊。大部分工具呈狭长形状,因此区分工具性和形状的加工一直是工具研究的焦点。本文旨在从卷积神经网络(DCNN)的角度在工具性和形状性的加工上为人脑内部的加工机制研究提供一些灵感,同时评估不同DCNN识别工具的表现。
方法:本文使用了80张图片为实验刺激,其中狭长和短粗的工具和非工具物体各20张,从行为和神经表征层面考察工具的形状和工具性表征。行为方面,首先建立80个物体的形状不相似性矩阵,及依据人类被试对物体工具性评分的不相似性矩阵。然后用13个DCNN抽取图片在每个DCNN多个层的特征图,构建基于DCNN层的80×80的不相似性矩阵,最后将这些不相似性矩阵分别与80个物体的形状及工具性不相似性矩阵做相关,从而考察在行为上哪种DCNN的哪些层能表征形状和工具。我们选出了行为结果中表现相对较好的模型,然后在神经表征方面,用这些DCNN与有意识和由后掩蔽或者连续闪烁抑制产生的无意识下的人类大脑EEG信号做表征相似性分析(RSA)。最后,为了进一步区分工具和形状的表征,我们还使用了四种由于使用不同类型图片训练而表现出不同程度轮廓偏好的ResNet-50做同样的分析。
结果:GoogleNet、CoRnet-S、ResNet-50和VGG-16和行为结果的相关较好。有意识情况下的RSA显示,四个模型在较高级层均表现出与人脑活动显著的类似性。四种ResNet网络的结果显示,使用风格化图片训练的ResNet-SIN与形状模型的相关最高,使用原始和风格化图片训练的ResNet-SININ与人类工具性评分的相似性最高。无意识下的RSA显示,ResNet-SIN与后掩蔽范式中收集到的人脑信号相似性最高,训练材料与ResNet-SININ相同、只是学习率较低的ResNet-SINININ与连续闪烁抑制范式中收集到的人脑信号相似性最高。
结论:GoogleNet等四个模型在识别工具图片上均与人类的脑活动有高相似性。对轮廓有最强偏好的ResNet-SIN展现出了最强的形状偏好,而对轮廓有中等偏好的ResNet-SININ和ResNet-SINININ则在工具性上与人类更相似。这进一步支持了形状与工具性加工相的分离的观点。

关键词: DCNN, 工具, 形状, 意识, 卷积神经网络