预测自然刺激物大脑反应的多模态序列到序列转换器
计算机视觉与模式识别
2025-07-28 v2 神经元与认知
摘要
Algonauts 2025 挑战呼吁社区开发编码模型，以预测自然多模态电影的整脑 fMRI 反应。在本次提交中，我们提出了一种序列到序列 Transformer，通过自回归方式从视觉、听觉和语言输入预测 fMRI 活动。采用预训练模型提取刺激特征，包括 VideoMAE、HuBERT、Qwen 和 BridgeTower。解码器通过双交叉注意力机制整合先前脑区状态与当前刺激信息，既注意来自刺激所提取的感知信息，也注意来自高层次摘要所提供的叙事信息。本方法的核心创新之一是利用多模态上下文序列来预测脑活动序列，从而 enables 模型捕捉刺激和神经反应中长程时序结构。另一项创新是采用共享编码器结合部分主体特定的解码器，既利用跨主体的共同表征结构，又 accounts for 个体差异。我们的模型在分布式和非分布式数据上均表现出强劲性能，证明了时序感知的多模态序列建模在预测脑活动方面的有效性。代码已公开于 https://github.com/Angelneer926/Algonauts_challenge。
引用
@article{arxiv.2507.18104,
title = {A Multimodal Seq2Seq Transformer for Predicting Brain Responses to Naturalistic Stimuli},
author = {Qianyi He and Yuan Chang Leong},
journal= {arXiv preprint arXiv:2507.18104},
year = {2025}
}