探索双层优化在神经网络校准中的潜力
机器学习
2026-05-18 v1 最优化与控制
摘要
处理不确定性对于确保智能系统中可靠的决策至关重要。已知现代神经网络校准不佳，导致预测的置信度分数难以使用。本文探讨了通过应用双层优化来改进置信度估计和校准的潜力，双层优化是一个旨在解决具有相互依赖优化层次的分层问题的框架。引入了一种自校准的双层神经网络训练方法，以改进模型预测的置信度分数。使用玩具数据集（如 Blobs 和 Spirals）以及更实用的模拟数据集（如血液酒精浓度 (BAC)）分析了所提框架的有效性。将其与一种知名且广泛使用的校准策略——等渗回归进行了比较。报告的实验结果表明，所提出的双层优化方法在校准误差降低的同时保持了准确性。
引用
@article{arxiv.2503.13113,
title = {Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks},
author = {Gabriele Sanguin and Arjun Pakrashi and Marco Viola and Francesco Rinaldi},
journal= {arXiv preprint arXiv:2503.13113},
year = {2026}
}