当模型知道它不知道时：校准、级联与清洁
人工智能
2026-01-14 v1 机器学习
摘要
当模型知道它不知道时，便涌现出许多可能性。第一个问题是如何使模型识别到自己不知道。一个有前景的做法是使用来自模型内部信号的置信度来反映其无知。在特定领域的先前工作中已显示校准可提供可靠的置信度估计。在本文中，我们提出一种简单、有效且通用的训练-free 方法，适用于视觉和语言模型，进行模型校准、级联和数据清洁，以更好地利用模型识别自己不知道的能力。我们首先指出两个关键经验观察：较高的置信度对应更高的准确率，以及在验证集上校准的模型在保留的测试集上保持校准状态。这些发现在统计上确立了校准置信度的可靠性和可比性。基于此，我们引入两个应用：（1）基于校准优势路由的模型级联；（2）基于模型集成的数据清洁。利用来自校准置信度可比性的路由信号，我们级联大型和小型模型以几乎不损失准确率的情况下提高效率，并进一步级联两个规模相当的模型以实现超越单个模型的性能。利用多个专家及其校准置信度，我们设计一种简单而有效的数据清洁方法，以平衡精度和检测率来识别 ImageNet 和 Massive Multitask Language Understanding（MMLU）数据集中的错误标签样本。我们的结果表明，使模型识别自己不知道的能力是通向更高效、更可靠、更可信 AI 实践的一步。
引用
@article{arxiv.2601.07965,
title = {When Models Know When They Do Not Know: Calibration, Cascading, and Cleaning},
author = {Chenjie Hao and Weyl Lu and Yuko Ishiwaka and Zengyi Li and Weier Wan and Yubei Chen},
journal= {arXiv preprint arXiv:2601.07965},
year = {2026}
}