摘要： 目的：目前对视觉诱发的fMRI活动解码,通过将视皮层体素激活特征向量化,并使用SVM等机器学习算法进行分类。由于视觉皮层内体素数目远大于样本数,难以避免过拟合,且体素向量化损失了原有皮层激活的空间结构特征。因此我们的工作通过将感兴趣区域（V1和LO）内的激活信息,按皮层展开成类似图片的二维矩阵,通过计算机视觉的方法,利用皮层激活的空间结构特征,在降低过拟合的情况下,提高视觉信息解码的准确率。
方法：分析在AK6和NSD公开数据集上进行。将AK6的12名被试数据（每名被试观看6类,每类60个trial的fMRI数据）和NSD数据集被试1（2类视觉刺激,每类14000个trial的fMRI数据）进行预处理和GLM分析后,基于Fresurfer进行皮层重构和展开,将ROI皮层激活信息平面化,如图1所示。使用NSD数据训练AlexNet模型进行二分类,使用AK6数据集在预训练好的NSD模型上训练和测试六分类。并通过打乱体素空间位置的方式研究空间结构的有效性。将NSD数据向量化,使用随机数森林分类,与NSD使用CNN的结果作比较;AK6数据向量化并进行特征选择后进行SVM分类的结果,与基于NSD预训练的模型泛化的结果进行比较。
结果：NSD数据集V1和LO打乱体素空间位置前后CNN模型的分类结果无显著差异,该结果略低于使用随机数森林对向量化NSD数据分类的结果,如图2所示。AK6的左侧V1、LO、右侧LO数据在预训练的NSD模型上,降低过拟合程度的情况下,准确率显著高于SVM对向量化数据的分类结果,且显著高于在打乱体素空间位置情况下的准确率,如图3所示。
结论：本研究将基于皮层展开的体素活动形成二维矩阵,研究此保留了皮层空间结构的特征集,是否优于传统的体素向量化解码方式。结果显示,保留了皮层空间结构的二维矩阵,在分类准确率上并没有显著高于传统的体素向量化,但是基于AlexNet模型的过拟合程度降低,泛化结果提高。这提示我们皮层空间结构在被试间具有较高的一致性,在被试间分析时可能起到类似超对齐的作用。

图1 皮层展开成二维矩阵（以LH_V1为例）

图2 NSD数据向量化和二维化分类结果

图3 AK6二维化数据基于预训练的NSD模型泛化结果

关键词: 解码, 空间结构特征, 泛化, 过拟合