基于对比学习的视觉皮层特征提取微调
计算机视觉与模式识别
2024-10-10 v1 机器学习
摘要
预测自然图像在视觉皮层中的神经响应需要从图像中提取相关特征并将其与观察到的神经响应相关联。在本工作中，我们优化特征提取，以最大化图像特征与从感兴趣区域(ROI)中提取的BOLD信号测量的fMRI神经响应之间共享的信息。我们采用对比学习(CL)来微调一个预先用于图像分类训练的卷积神经网络，使得给定图像的特征映射与相应的fMRI响应更接近，而与其他图像的响应更远。我们利用最近发布的自然场景数据集(Allen 等，2022)作为Algonauts项目(Gifford 等，2023)组织的格式，该数据集包含来自八个受试者对数万自然图像的高分辨率fMRI响应。我们展示了CL微调创建的特征提取模型在早期视觉ROI中实现更高的编码精度，相较于预训练网络和使用回归损失在网络输出上进行微调以进行fMRI响应编码的基线方法。我们研究了CL微调模型的跨受试者迁移，包括来自另一个较低分辨率数据集(Gong 等，2023)的受试者。我们还对受试者进行池化以进一步提高编码性能。最后，我们检查在常见图像分类任务上的性能，探索通过对在这些任务上创建的巴哈查拉亚不相似矩阵进行降维( Mao 等，2024)所得到的ROI特定模型的特征空间，以及使用基于CL微调模型构建的分类器的显著性图来研究早期视觉ROI的处理偏侧性。
引用
@article{arxiv.2410.06067,
title = {Contrastive Learning to Fine-Tune Feature Extraction Models for the Visual Cortex},
author = {Alex Mulrooney and Austin J. Brockmeier},
journal= {arXiv preprint arXiv:2410.06067},
year = {2024}
}