关于不一致性歧配代理损失的贝叶斯不一致性
机器学习
2025-12-08 v1 机器学习
摘要
深度神经网络常在实际部署情境下因分布迁移而失败,这是构建安全可靠系统的关键障碍。一种新兴方法用于解决此问题依赖于\emph{不一致性歧配}——一种衡量两个模型在分布变化下不一致性变化的度量。最大化此度量的过程已用于界定迁移下的误差、测试有害迁移,以及训练更稳健的模型。然而,这种优化涉及非可微的零一损失, necessitating 使用实际的代理损失。我们证明了现有不一致性歧配的代理损失在贝叶斯一致性方面不成立,揭示了根本性缺陷:最大化这些代理损失可能无法最大化真实的不一致性歧配。为此,我们提出了新的理论结果,为此类代理损失提供上下界。根据我们的理论,我们提出了一种新型不一致损失,该损失与交叉熵配合使用,可为不一致性歧配提供可证明的一致性代理。通过多样化基准的实证评估,我们展示了该方法在各种基准上提供比现有方法更准确、更稳健的不一致性歧配估计,特别是在面临挑战性对抗性情境时。
引用
@article{arxiv.2512.05931,
title = {On the Bayes Inconsistency of Disagreement Discrepancy Surrogates},
author = {Neil G. Marchant and Andrew C. Cullen and Feng Liu and Sarah M. Erfani},
journal= {arXiv preprint arXiv:2512.05931},
year = {2025}
}
备注
37 pages, 7 figures