通过对抗式认知不确定性训练改进分布外检测
机器学习
2022-09-12 v2
摘要
不确定性的量化对于机器学习的应用十分重要，尤其是将分布外（OOD）数据退回给人类专家审查。然而进展缓慢，因为必须在计算效率与不确定性估计质量之间取得平衡。因此，许多人使用深度神经网络集成或蒙特卡洛 dropout，以相对最小的计算和内存获得合理的不确定性估计。令人惊讶的是，当我们关注误报率（FPR）这一现实适用的约束时，已有方法无法可靠地检测出 OOD 样本。值得注意的是，即便是高斯随机噪声也未能触发这些流行的 OOD 技术。我们通过设计一种简单的对抗训练方案来缓解该问题，该方案纳入了对 dropout 集成所预测的认知不确定性的攻击。我们证明该方法在标准数据（即非对抗构造的数据）上提升了 OOD 检测性能，并将标准化部分 AUC 从接近随机猜测的水平提升至 。
引用
@article{arxiv.2209.03148,
title = {Improving Out-of-Distribution Detection via Epistemic Uncertainty Adversarial Training},
author = {Derek Everett and Andre T. Nguyen and Luke E. Richards and Edward Raff},
journal= {arXiv preprint arXiv:2209.03148},
year = {2022}
}
备注
8 pages, 5 figures