量化神经网络中置信度与校准之间未被充分探讨的困境
机器学习
2021-12-03 v2 计算机视觉与模式识别
摘要
现代卷积神经网络（CNNs）在未见输入数据的校准方面已知存在过度自信。也就是说，它们比自身准确时更为自信。若预测的概率要用于下游决策，这是不可取的。在考虑准确率时，CNNs 对旨在降低计算和内存成本的压缩技术（如量化）也出奇地鲁棒。我们表明这种鲁棒性可部分由现代 CNNs 的校准行为解释，并可能随过度自信而改善。这是由于一个直观结果：低置信度预测更可能在量化后发生改变，同时准确率更低。高置信度预测将更准确，但更难改变。因此，量化后准确率仅发生极小下降。这呈现了神经网络设计中的潜在冲突：过度自信导致的更差校准可能带来对量化更好的鲁棒性。我们在 CIFAR-100 和 ImageNet 数据集上对多种 CNNs 应用训练后量化进行了实验。
引用
@article{arxiv.2111.08163,
title = {An Underexplored Dilemma between Confidence and Calibration in Quantized Neural Networks},
author = {Guoxuan Xia and Sangwon Ha and Tiago Azevedo and Partha Maji},
journal= {arXiv preprint arXiv:2111.08163},
year = {2021}
}
备注
Accepted at I (Still) Can't Believe It's Not Better Workshop at NeurIPS 2021