COBRA：面向视觉-脑理解的持续学习方法
计算机视觉与模式识别
2025-08-07 v3
摘要
视觉-脑理解 (VBU) 旨在从通过功能性磁共振成像 (fMRI) 记录的脑活动中提取视觉信息。尽管近年来取得了显著进展，但现有研究在 VBU 中仍面临灾难性遗忘的挑战，即模型在适应新主题时会丢失先前主题的知识。因此，解决该领域的持续学习问题至关重要。本文引入一种新框架，称为 Continual Learning for Vision-Brain (COBRA)，以解决 VBU 中的持续学习问题。我们的做法包括三个新模块：Subject Commonality (SC) 模块、基于提示的 Subject Specific (PSS) 模块，以及用于 fMRI 的 Transformer 模块，称为 MRIFormer 模块。SC 模块捕获跨主题的共享视觉-脑模式，将其作为模型遇到新主题时保存的知识，从而减轻灾难性遗忘的影响。相较之下，PSS 模块学习每个主题特有的视觉-脑模式。最后，MRIFormer 模块包含一个 Transformer 编码器和解码器，用于从共享模式和特定模式中学习 fMRI 特征。在持续学习设置下，COBRA 为新主题训练新的 PSS 和 MRIFormer 模块，而不影响先前主题的模块。因此，COBRA 有效解决了灾难性遗忘，实现了在持续学习和视觉-脑重建任务上的最先进性能，超越了以往方法。
关键词
引用
@article{arxiv.2411.17475,
title = {COBRA: A Continual Learning Approach to Vision-Brain Understanding},
author = {Xuan-Bac Nguyen and Manuel Serna-Aguilera and Arabinda Kumar Choudhary and Pawan Sinha and Xin Li and Khoa Luu},
journal= {arXiv preprint arXiv:2411.17475},
year = {2025}
}