$p$-DkNN：通过深度表示的统计检验进行分布外检测
机器学习
2022-07-27 v1 机器学习
摘要
缺乏良好校准的置信度估计使神经网络在自动驾驶或医疗等安全关键领域不尽适用。在此类场景中，能够对分布外（OOD）数据 abstain（放弃预测）的能力，与正确分类分布内数据同样重要。我们提出 -DkNN，一种新颖的推理过程：它接收训练好的深度神经网络，分析其中间隐藏表示的相似性结构，以计算与端到端模型预测相关的 值。其直觉在于，对潜在表示所做的统计检验不仅可作为分类器，还能提供统计上严谨的不确定性估计。-DkNN 可扩展，并利用了隐藏层所学表示的复合结构，而这正是深度表示学习成功的原因。我们的理论分析建立在 Neyman-Pearson 分类之上，并将其与选择性分类（拒绝选项）的近期进展相联系。我们展示了在放弃预测 OOD 输入与维持分布内输入高准确率之间的有利权衡。我们发现，-DkNN 迫使构造对抗样本的适应性攻击者（一种最坏情况 OOD 输入）对输入引入具语义意义的改变。
引用
@article{arxiv.2207.12545,
title = {$p$-DkNN: Out-of-Distribution Detection Through Statistical Testing of Deep Representations},
author = {Adam Dziedzic and Stephan Rabanser and Mohammad Yaghini and Armin Ale and Murat A. Erdogdu and Nicolas Papernot},
journal= {arXiv preprint arXiv:2207.12545},
year = {2022}
}