Full-ECE：面向大型语言模型的词元级校准度量
计算与语言
2024-06-18 v1 人工智能
摘要
深度神经网络（DNN）在各个领域表现出色，但在提供准确的不确定性估计方面面临挑战，而这对于高风险应用至关重要。大型语言模型（LLM）最近已成为强大的工具，在语言任务中展现出卓越的性能。然而，传统的校准度量，如期望校准误差（ECE）和逐类ECE（cw-ECE），由于LLM庞大的词汇量、数据复杂性和分布焦点而显得不足。为了解决这个问题，我们提出了一种称为全校准的新校准概念，并引入了其对应的度量Full-ECE。Full-ECE评估整个预测概率分布，为LLM提供更准确、更稳健的校准度量。
引用
@article{arxiv.2406.11345,
title = {Full-ECE: A Metric For Token-level Calibration on Large Language Models},
author = {Han Liu and Yupeng Zhang and Bingning Wang and Weipeng Chen and Xiaolin Hu},
journal= {arXiv preprint arXiv:2406.11345},
year = {2024}
}