Wills Aligner：多受试者协作的大脑视觉解码

从人类大脑活动中解码视觉信息在最近的研究中取得了显著进展。然而，个体之间大脑皮层分区和fMRI模式的多样性促使了为每个受试者量身定制的深度学习模型的发展。这种个性化限制了大脑视觉解码在现实场景中的更广泛应用。为了解决这个问题，我们引入了Wills Aligner，一种新颖的方法，旨在实现多受试者协作的大脑视觉解码。Wills Aligner首先在解剖学水平上对齐来自不同受试者的fMRI数据。然后，它采用精细的脑专家混合适配器和元学习策略来考虑个体fMRI模式差异。此外，Wills Aligner利用视觉刺激的语义关系来指导受试者间共性的学习，使每个受试者的视觉解码能够从其他受试者的数据中汲取见解。我们在各种视觉解码任务上严格评估了我们的Wills Aligner，包括分类、跨模态检索和图像重建。实验结果表明，Wills Aligner取得了有希望的性能。