薛定谔的阈值：当 AUC 无法预测准确率时

曲线下面积（AUC）度量似乎适合用于评估和比较多样化的模型，且可能无需校准。AUC 应用的一个重要例子是对预测生成文本忠实度的模型进行评估与基准测试。但我们表明，AUC 给出了一种学术且乐观的准确率概念，这可能与实际应用中观察到的真实准确率不一致，从而导致基准排名发生显著变化。为了更真实地描绘下游模型性能（并为实际应用准备好模型），我们探索了不同的校准模式，测试了校准数据与方法。