MindFormer: 多主体fMRI语义对齐用于脑解码
计算机视觉与模式识别
2024-10-08 v2 人工智能
机器学习
摘要
视觉fMRI信号解码的研究努力在研究社区中引起了广泛关注。尽管如此，由于fMRI信号在不同主体之间甚至在同一主体的不同试验之间存在巨大差异，多主体fMRI解码使用单个模型仍被视为不可行。为了解决当前在多主体脑解码中的局限性，本文引入了一种新的多主体fMRI信号语义对齐方法，称为MindFormer。该模型专为生成可用于Stable Diffusion模型进行fMRI到图像生成或大型语言模型（LLM）进行fMRI到文本生成的fMRI条件特征向量而设计。具体而言，MindFormer包含两个关键创新:1)一种主体特定标记，有效捕捉fMRI信号中个体差异，同时协同利用多个主体fMRI数据进行训练;2)一种基于IP-Adapter的新型特征嵌入和训练方案，从fMRI信号中提取语义上有意义的特征。我们的实验结果表明，MindFormer在不同主体之间生成语义一致的图像和文本。由于我们的MindFormer通过充分利用不同主体的训练数据而显著优于现有模型在多主体脑解码方面，从而保持了语义忠实性，这可能有助于深化我们对神经加工中个体间变异性的理解。
关键词
引用
@article{arxiv.2405.17720,
title = {MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding},
author = {Inhwa Han and Jaayeon Lee and Jong Chul Ye},
journal= {arXiv preprint arXiv:2405.17720},
year = {2024}
}