基于随机专家混合模型的分段任务中多模态偶然不确定性建模
计算机视觉与模式识别
2023-02-28 v2
摘要
为预测分割结果配备经过校准的不确定性对于安全关键应用至关重要。在本工作中，我们专注于捕捉分割中数据固有的不确定性（亦称偶然不确定性），这通常出现在输入图像存在歧义时。由于高维输出空间以及分割歧义图像时可能存在的多种模态，预测分割的良好校准不确定性仍然具有挑战性。为解决该问题，我们提出了一种新颖的随机专家混合（MoSE）模型，其中每个专家网络估计偶然不确定性的一个不同模态，而门控网络预测输入图像以这些模态被分割的概率。这产生了一种高效的两级不确定性表示。为学习该模型，我们开发了一种类 Wasserstein 损失，直接最小化 MoSE 与真实标注之间的分布距离。该损失可轻松集成传统分割质量度量，并通过约束松弛高效优化。我们在 LIDC-IDRI 数据集和修改后的多模态 Cityscapes 数据集上验证了我们的方法。结果表明，我们的方法在所有指标上均达到了最先进的或具竞争力的性能。
引用
@article{arxiv.2212.07328,
title = {Modeling Multimodal Aleatoric Uncertainty in Segmentation with Mixture of Stochastic Experts},
author = {Zhitong Gao and Yucong Chen and Chuyu Zhang and Xuming He},
journal= {arXiv preprint arXiv:2212.07328},
year = {2023}
}
备注
Published in ICLR 2023