学习聚合特征表示

Algonauts挑战赛要求构建从图像到脑活动的多被试编码器。已知诸如ResNet-50和AlexNet等用于图像分类的深度网络，其中间阶段产生的特征表示与视觉层级结构高度相似。然而Algonauts项目引入的挑战——包括合并多被试数据、依赖极少相似度数据点、求解多个ROI以及多模态——要求设计一种可灵活高效应对的框架。本文基于近期最先进的分类网络（SE-ResNeXt-50）构建，并构造其各中间表示的自适应组合。预训练网络作为模型骨干，我们学习如何沿网络五个阶段聚合特征表示。在学习过程中，该方法可根据优化目标调制并筛选网络各阶段的输出。我们将方法应用于Algonauts2019的fMRI与MEG挑战。使用fMRI与MEG合并数据，我们的方法在两项挑战中均位列前五。令人惊讶的是，我们发现对于低级与高级视觉区（EVC与IT），自适应聚合均偏好网络后阶段产生的特征。