伟大模型所见略同：通过模型间潜在空间一致性提升模型可靠性

机器学习的可靠应用对深度学习方法的实际部署至关重要。一个根本挑战是模型常因过度自信而不可靠。在本文中，我们通过度量一个模型的潜在空间与基础模型（foundation model）的潜在空间之间的一致性来估计模型的可靠性。然而，由于两个不同潜在空间的不相干性（如任意旋转和不同维度），度量它们之间的一致性颇具挑战。为克服该不相干问题，我们设计了一种潜在空间之间的邻域一致性度量，并发现该一致性与模型预测的可靠性惊人地高度相关。进一步，我们展示以事后方式将邻域一致性融合进模型的预测置信度可显著提升其可靠性。理论分析与在多种数据集上的失败检测广泛实验验证了我们的方法在分布内与分布外设置下的有效性。