神经网络校准度量的解耦
计算机视觉与模式识别
2024-07-22 v2
摘要
当前大量精力投入到保障自动驾驶系统安全上,这类系统高度依赖深度神经网络进行计算机视觉。我们研究了不同神经网络校准度量之间的耦合,特别关注区域下限稀疏化误差曲线(Area Under the Sparsification Error curve, AUSE)指标。我们阐述了使用预期校准误差(Expected Calibration Error, ECE)确定最优校准的已知不一致性,并为 AUSE、不确定性校准得分(Uncertainty Calibration Score, UCS)以及不确定性校准误差(Uncertainty Calibration Error, UCE)演示了类似问题。我们得出结论,当前方法留下了一个自由度,这会阻止为安全关键功能唯一的模型校准。此外,我们提出将 AUSE 作为残余不确定性的间接度量,该不确定性对固定网络架构不可逆,由底层数据生成过程的随机性(aleatoric 贡献)以及假设空间的限制(epistemic 贡献)所驱动。
引用
@article{arxiv.2406.02411,
title = {Decoupling of neural network calibration measures},
author = {Dominik Werner Wolf and Prasannavenkatesh Balaji and Alexander Braun and Markus Ulrich},
journal= {arXiv preprint arXiv:2406.02411},
year = {2024}
}
备注
Accepted at the German Conference on Pattern Recognition (GCPR) 2024