Duala：面向跨主体 fMRI 解码的双层主体-刺激对齐
计算机视觉与模式识别
2026-03-10 v1
摘要
跨主体视觉解码旨在实现从脑活动中跨个体重建视觉体验，为更可扩展和实用的脑机接口提供可能。然而，现有方法在针对新主体且数据有限的情况下常表现下降，因为难以保持刺激的语义一致性和脑响应的对齐。为此，我们提出了 Duala，一个双层对齐框架，用于实现基于 fMRI 的跨主体视觉解码中的刺激层次一致性和主体层次对齐。（1）在刺激层次，Duala 引入语义对齐和关系一致性策略，保持类内相似性和类间可分离性，在适应期间维持清晰的语义边界。（2）在主体层次，开发了基于分布的特征扰动机制，以捕获全局和主体特定的变异，实现对个体神经表征的适应，同时避免过拟合。在自然场景数据集（NSD）上的实验表明，Duala 有效改善了跨主体的对齐。令人惊讶的是，仅使用约一小时的 fMRI 数据，Duala 即可实现超过 81.1% 的图像到脑的检索准确率，并在检索和重建方面持续优于现有的微调策略。我们的代码已公开于 https://github.com/ShumengLI/Duala。
引用
@article{arxiv.2603.07625,
title = {Duala: Dual-Level Alignment of Subjects and Stimuli for Cross-Subject fMRI Decoding},
author = {Shumeng Li and Jintao Guo and Jian Zhang and Yulin Zhou and Luyang Cao and Yinghuan Shi},
journal= {arXiv preprint arXiv:2603.07625},
year = {2026}
}