借助不确定性感知模糊先验弥合视觉-大脑差距
计算机视觉与模式识别
2025-03-18 v2
摘要
大脑信号能否忠实地反映原始视觉刺激，甚至包括高频细节？尽管人类的感知和认知能力使我们能够处理和记忆视觉信息，但这些能力受到多种因素的限制，如有限的注意资源和视觉记忆的有限容量。当视觉刺激被人类视觉系统处理为脑信号时，一些信息不可避免地会丢失，导致一种称为「系统差距」的差异。此外，感知和认知动力学以及信号采集中的技术噪声会降低脑信号相对于视觉刺激的保真度，称为「随机差距」。当编码后的脑表征直接与对应的预训练图像特征对齐时，成对数据中的系统差距和随机差距对模型提出了挑战，要求模型弥合这些差距。然而，在配对数据有限的情况下，这些差距难以被模型学习，导致过拟合和对新数据的泛化能力差。为了解决这些差距，我们提出了一种简单而有效的方法，称为「不确定性感知模糊先验(UBP)」。它估计配对数据中的不确定性，反映脑信号与视觉刺激之间的不匹配。基于这种不确定性，UBP 动态地模糊原始图像的高频细节，减少不匹配的影响并改善对齐。我们的方法在零样本脑-图像检索任务上取得了 top-1 准确率为 50.9% 和 top-5 准确率为 79.7%，分别超越先前最先进方法 13.7% 和 9.8%。代码可在 GitHub 上获取。
引用
@article{arxiv.2503.04207,
title = {Bridging the Vision-Brain Gap with an Uncertainty-Aware Blur Prior},
author = {Haitao Wu and Qing Li and Changqing Zhang and Zhen He and Xiaomin Ying},
journal= {arXiv preprint arXiv:2503.04207},
year = {2025}
}