DBMF：一种双分支多模态框架用于准分布检测
计算机视觉与模式识别
2026-04-16 v2 人工智能
摘要
复杂动态的临床环境要求可靠的深度学习（DL）系统。准分布检测在遇到与训练分布不同的数据时（如未见病例）发挥关键作用，提升 DL 模型的可靠性和可泛化性。然而，现有准分布检测方法要么依赖单一视觉模态，要么仅依赖图像-文本匹配，无法充分利用多模态信息。为此，我们提出一种新型双分支多模态框架，通过引入文本-图像分支和视觉分支充分利用多模态表示来识别准分布样本。训练后，我们计算文本-图像分支得分（S_t）和视觉分支得分（S_v），并将其整合以获得最终准分布得分 S，与阈值比较以完成准分布检测。广泛的公开内窥镜图像数据集实验表明，该框架在不同主干网络上都稳健可靠，通过最新方法提升准分布检测性能最高可达 24.84%。
引用
@article{arxiv.2604.08261,
title = {DBMF: A Dual-Branch Multimodal Framework for Out-of-Distribution Detection},
author = {Jiangbei Yue and Darren Treanor and Venkataraman Subramanian and Sharib Ali},
journal= {arXiv preprint arXiv:2604.08261},
year = {2026}
}