MaxEnt损失：分布外偏移下基于约束最大熵的校准方法
机器学习
2024-03-12 v2
摘要
我们提出了一种解决分布外（OOD）校准问题的新损失函数。尽管已提出许多目标函数以有效校准分布内模型，但我们的结果表明它们在OOD下并不总是表现良好。基于最大熵原理，我们引入了训练期间观察到的有益统计约束，在不牺牲准确率的情况下实现了更好的模型校准。我们提供了理论分析，并从经验上表明我们的方法在实践中表现良好，在合成与真实世界基准上均达到了最先进的校准效果。
引用
@article{arxiv.2310.17159,
title = {MaxEnt Loss: Constrained Maximum Entropy for Calibration under Out-of-Distribution Shift},
author = {Dexter Neo and Stefan Winkler and Tsuhan Chen},
journal= {arXiv preprint arXiv:2310.17159},
year = {2024}
}
备注
38th AAAI Conference on Artificial Intelligence, AAAI24 (Oral)