通过真相发现与几何优化改进深度神经网络的不确定性校准
机器学习
2022-03-03 v3 人工智能
摘要
深度神经网络（DNNs）尽管近年来取得巨大成功，仍可能因学习过程固有的不确定性而使其预测受到质疑。集成技术与事后校准是两类各自在改进DNN不确定性校准方面展现潜力的途径。然而两类方法的协同效应尚未被充分探索。本文提出一种真相发现框架以融合基于集成与事后校准的方法。利用集成候选的几何方差作为样本不确定性的良好指示量，我们设计了可证明不降低精度的真相估计器。进一步，我们表明事后校准亦可借由真相发现正则化优化而增强。在包含CIFAR与ImageNet的大规模数据集上，我们的方法基于直方图与核密度评估指标均较最先进校准方法取得一致改进。代码见https://github.com/horsepurve/truly-uncertain。
引用
@article{arxiv.2106.14662,
title = {Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization},
author = {Chunwei Ma and Ziyun Huang and Jiayi Xian and Mingchen Gao and Jinhui Xu},
journal= {arXiv preprint arXiv:2106.14662},
year = {2022}
}
备注
Accepted for publication at 37th Conference on Uncertainty in Artificial Intelligence (UAI 2021); https://proceedings.mlr.press/v161/ma21a.html