TROI：基于稀疏体素选择的跨主语fMRI视觉解码预训练
计算机视觉与模式识别
2025-03-12 v2
摘要
fMRI（功能性磁共振成像）视觉解码涉及从视觉刺激引发的脑信号中解码原始图像。这通常依赖于手动标记的感兴趣区域(ROI)来选择脑脑体素。然而，这些ROI可能包含冗余信息和噪声，会降低解码性能。此外，缺乏自动化的ROI标记方法会阻碍fMRI视觉解码技术在实际应用中的普及，尤其是对于新受试者而言。本文提出TROI（可训练感兴趣区域），一种用于跨主语fMRI解码任务的新型两阶段数据驱动ROI标记方法，特别适用于受试者样本有限的情况。TROI利用数据集中的标记ROI，在跨主语数据集上预训练图像解码背板，使新受试者的输入层高效优化，而无需从头重新训练整个模型。在第一个阶段，我们引入一种结合稀疏掩码训练和低通滤波的方法，用于快速生成体素掩码并确定输入层维度。在第二个阶段，我们应用学习率回溯策略对输入层进行微调，以适应下游任务。在与基线方法相同小样本数据集上进行的脑视觉检索和重建任务实验结果表明，我们的体素选择方法在带有标记ROI掩码的MindEye2基线方法上取得了优异性能。
引用
@article{arxiv.2502.00412,
title = {TROI: Cross-Subject Pretraining with Sparse Voxel Selection for Enhanced fMRI Visual Decoding},
author = {Ziyu Wang and Tengyu Pan and Zhenyu Li and Ji Wu and Xiuxing Li and Jianyong Wang},
journal= {arXiv preprint arXiv:2502.00412},
year = {2025}
}
备注
ICASSP 2025