基于不确定性感知分布蒸馏的计算机视觉实时不确定性估计
计算机视觉与模式识别
2020-11-09 v2 机器学习
机器学习
摘要
校准的不确定性估计对于深度学习的许多现实世界计算机视觉应用至关重要。虽然存在若干广泛使用的不确定性估计方法,dropout 推断因其简洁性和有效性而脱颖而出。然而,该技术在推断期间需要多次通过网络的前向传播,因此计算资源消耗过大,难以部署于实时应用。我们提出一种简单、易于优化的蒸馏方法,用于学习预训练 dropout 模型的条件预测分布,以在计算机视觉任务中实现快速的、无需采样的的不确定性估计。我们在语义分割和深度估计任务上实证检验了所提方法的有效性,并证明我们的方法能显著减少推断时间,实现实时不确定性量化,同时在不确定性估计质量和预测性能上均优于常规 dropout 模型。
引用
@article{arxiv.2007.15857,
title = {Real-Time Uncertainty Estimation in Computer Vision via Uncertainty-Aware Distribution Distillation},
author = {Yichen Shen and Zhilu Zhang and Mert R. Sabuncu and Lin Sun},
journal= {arXiv preprint arXiv:2007.15857},
year = {2020}
}
备注
Accepted at IEEE Winter Conference on Applications of Computer Vision (WACV), 2021; Equal contribution: Yichen Shen, Zhilu Zhang