基于概率单纯形统计建模的保精度校准
机器学习
2025-03-19 v2 机器学习
摘要
基于深度神经网络（DNN）的分类模型必须经过校准以衡量预测的可靠性。一些近期的校准方法在概率单纯形上采用了概率模型。然而，这些校准方法无法保持预训练模型的精度，即使是那些具有高分类精度的模型。我们提出了一种保精度校准方法，使用 Concrete 分布作为概率单纯形上的概率模型。我们从理论上证明了基于交叉熵损失训练的 DNN 模型作为 Concrete 分布的参数具有最优性。我们还提出了一种有效的方法，为在概率单纯形上训练概率模型合成生成样本。我们证明了所提出的方法在保精度校准任务的基准测试中能够优于以往的方法。代码可在 https://github.com/ToyotaCRDL/SimplexTS 获取。
关键词
引用
@article{arxiv.2402.13765,
title = {Accuracy-Preserving Calibration via Statistical Modeling on Probability Simplex},
author = {Yasushi Esaki and Akihiro Nakamura and Keisuke Kawano and Ryoko Tokuhisa and Takuro Kutsuna},
journal= {arXiv preprint arXiv:2402.13765},
year = {2025}
}
备注
Accepted at the 27th International Conference on Artificial Intelligence and Statistics (AISTATS) 2024. The code is available at https://github.com/ToyotaCRDL/SimplexTS