UMBRAE：统一多模态脑解码
计算机视觉与模式识别
2024-07-19 v2 人工智能
计算与语言
摘要
我们探讨了脑驱动研究面临的普遍挑战，出发点是现有文献难以恢复准确的空间信息且需要特定受试者模型。为了应对这些挑战，我们提出了 UMBRAE，一种脑信号的统一多模态解码。首先，为了从神经信号中提取实例级概念与空间细节，我们引入了一种高效的通用脑编码器用于多模态-大脑对齐，并从后续的多模态大语言模型（MLLM）中恢复多粒度的物体描述。其次，我们引入了一种跨受试者训练策略，将特定受试者的特征映射到公共特征空间。这使得模型能够在无需额外资源的情况下在多名受试者上进行训练，甚至取得了优于特定受试者模型的结果。此外，我们证明该策略支持对新受试者的弱监督自适应，仅需使用总训练数据的一小部分。实验表明，UMBRAE 不仅在引入的新任务中取得了优异结果，还在成熟任务上超越了现有方法。为了评估我们的方法，我们构建并向社区分享了一个全面的脑理解基准 BrainHub。我们的代码和基准可在 https://weihaox.github.io/UMBRAE 获取。
引用
@article{arxiv.2404.07202,
title = {UMBRAE: Unified Multimodal Brain Decoding},
author = {Weihao Xia and Raoul de Charette and Cengiz Öztireli and Jing-Hao Xue},
journal= {arXiv preprint arXiv:2404.07202},
year = {2024}
}
备注
ECCV 2024. Project: https://weihaox.github.io/UMBRAE