无真值的校准
机器学习
2026-01-28 v1 计算机科学与博弈论
摘要
Villalobos 等人 [2024] 预测，未来十年内公开可用的人类文本将被耗尽。因此，在没有真值标签的情况下改进模型变得日益重要。我们提出了一种无标签后处理框架，该框架使用一个较弱但校准更好的参考模型来改进一个较强但校准不佳的模型。我们的框架保证在任何严格损失下实现严格的性能提升。我们的方法基于对何时可能实现严格提升的特征刻画：当强模型和参考模型未相互校准时。我们将这一条件形式化，将其与经济学中的套利和无交易结果联系起来，并开发了一种高效的 Bregman 投影算法，该算法可在无标签的情况下保证最坏情况下的损失降低。在不同规模的代表性 LLM 上进行的实验表明，我们的无标签方法显著降低了严格损失和校准误差，实现了与有监督基线相媲美的性能。
关键词
引用
@article{arxiv.2601.19862,
title = {Calibration without Ground Truth},
author = {Yuqing Kong and Mingyu Song and Yizhou Wang and Yifan Wu},
journal= {arXiv preprint arXiv:2601.19862},
year = {2026}
}