基于孪生网络的不相似度学习预测脑成像数据
神经元与认知
2019-07-08 v1
摘要
深度学习的出现对视觉神经科学产生了深远影响，为预测神经数据的新模型铺平了道路。尽管深度卷积神经网络是为分类任务显式训练的，它们却学到了与生物视觉系统相似的表征。但分类并非人类视觉系统的唯一目标，因此分类算法的表征可能无法完全解释视觉加工阶段。在此，我修改了传统孪生网络的损失函数（对比损失，Contrastive loss），使其在神经不相似度上直接训练。该网络以图像对作为输入，并预测其输出特征之间的相关距离。在 Algonauts 挑战赛中，利用不相似度学习，我对 Alexnet 的初始层进行微调以预测 MEG 早期响应/EVC 数据，并对 VGG-16 的所有层进行微调以预测 MEG 晚期响应/IT 数据。该方法适用于高信噪比的数据集，因此我的模型在 MEG 数据集上取得了最先进的性能，但在 fMRI 上并未如此。
引用
@article{arxiv.1907.02591,
title = {Dissimilarity learning via Siamese network predicts brain imaging data},
author = {Aakash Agrawal},
journal= {arXiv preprint arXiv:1907.02591},
year = {2019}
}