NeuralOOD：基于脑机融合学习框架提高准外分布一般化性能
计算机视觉与模式识别
2024-08-28 v1 人工智能
摘要
深度神经网络(DNN)在传统计算机视觉(CV)任务中表现出卓越的识别能力。然而,现有的 CV 模型在面对准外分布(OOD)数据时常会出现显著的准确度下降。与这些 DNN 模型不同,人类能够在面对 OOD 场景时保持一致的低错误率,这部分归因于人类大脑存储的丰富先验认知知识。以往的 OOD 一般化研究仅关注单一模态,忽略了多模态学习方法的优势。本文利用多模态学习方法来提高 OOD 一般化,并提出一种 novel 的脑机融合学习(BMFL)框架。我们采用跨注意力机制融合来自 CV 模型的视觉知识和来自人脑的先验认知知识。特别地,我们采用预训练的视觉神经编码模型从视觉特征预测功能性磁共振成像(fMRI),这消除了需要收集和预处理 fMRI 数据的需求,有效减少了传统 BMFL 方法所涉及的工作负担。此外,我们构建了一个脑 transformer 来促进从 fMRI 数据中提取知识。进一步地,我们将皮尔逊相关系数最大化正则化方法引入训练过程中,该方法在约束方面提高了融合能力。我们的模型在 ImageNet-1k 验证数据集以及六个筛选好的 OOD 数据集上超越了 DINOv2 和基线模型,展示了在多种情景下的卓越性能。
引用
@article{arxiv.2408.14950,
title = {NeuralOOD: Improving Out-of-Distribution Generalization Performance with Brain-machine Fusion Learning Framework},
author = {Shuangchen Zhao and Changde Du and Hui Li and Huiguang He},
journal= {arXiv preprint arXiv:2408.14950},
year = {2024}
}