基于学生 t 分布混合的可靠多模态眼病筛查
图像与视频处理
2023-08-30 v4 计算机视觉与模式识别
摘要
多模态眼病筛查在眼科中至关重要，因为它整合来自不同来源的信息以互补各自的性能。然而，现有方法在评估各单模态可靠性方面较弱，直接融合不可靠模态可能导致筛查错误。为解决此问题，我们引入了一种用于眼病筛查的新型多模态证据融合流程 EyeMoSt，其为单模态提供置信度度量，并从多分布融合的角度优雅地整合多模态信息。具体而言，我们的模型同时估计单模态的局部不确定性和融合模态的全局不确定性，以产生可靠的分类结果。更重要的是，所提出的学生 t 分布混合自适应地整合不同模态，赋予模型重尾特性，提升了鲁棒性与可靠性。我们在公开和内部数据集上的实验结果表明，我们的模型比现有方法更可靠。此外，EyeMoSt 具有作为数据质量判别器的潜在能力，可实现多模态眼病筛查的可靠决策。
引用
@article{arxiv.2303.09790,
title = {Reliable Multimodality Eye Disease Screening via Mixture of Student's t Distributions},
author = {Ke Zou and Tian Lin and Xuedong Yuan and Haoyu Chen and Xiaojing Shen and Meng Wang and Huazhu Fu},
journal= {arXiv preprint arXiv:2303.09790},
year = {2023}
}
备注
MICCAI 2023 (Early accept):11 pages, 4 figures