Neurons：模拟人类视觉皮层提升 fMRI 到视频重建的保真度与可解释性
计算机视觉与模式识别
2025-07-17 v3 人工智能
摘要
从神经活动中解码视觉刺激对于理解人类大脑至关重要。虽然 fMRI 方法已成功重建了静态图像，但由于需要捕捉运动和场景转换等时空动态，fMRI 到视频的重建面临挑战。最近的方法改善了语义和感知对齐，但难以将粗略的 fMRI 数据与详细的视觉特征相整合。受视觉系统分层组织的启发，我们提出了 NEURONS，这是一个将学习解耦为四个相关子任务的新框架：关键对象分割、概念识别、场景描述和模糊视频重建。这种方法模拟了视觉皮层的功能特化，使模型能够捕捉多样的视频内容。在推理阶段，NEURONS 为预训练的文本到视频扩散模型生成稳健的条件信号以重建视频。大量实验表明，NEURONS 优于 SOTA 基线，在视频一致性（26.6%）和语义级准确率（19.1%）上取得了坚实提升。值得注意的是，NEURONS 表现出与视觉皮层的强功能相关性，突显了其在脑机接口和临床应用中的潜力。代码和模型权重可在：https://github.com/xmed-lab/NEURONS 获取。
引用
@article{arxiv.2503.11167,
title = {Neurons: Emulating the Human Visual Cortex Improves Fidelity and Interpretability in fMRI-to-Video Reconstruction},
author = {Haonan Wang and Qixiang Zhang and Lehan Wang and Xuanqi Huang and Xiaomeng Li},
journal= {arXiv preprint arXiv:2503.11167},
year = {2025}
}
备注
Accepted by ICCV 2025, camera ready version