用于分布外检测的特征空间奇点
机器学习
2020-12-18 v2 机器学习
摘要
分布外(Out-of-Distribution, OoD)检测对于构建安全的人工智能系统十分重要。然而,当前的 OoD 检测方法仍无法满足实际部署的性能要求。在本文中,我们基于一个新观察提出了一种简单而有效的算法:在训练好的神经网络中,具有有界范数的 OoD 样本会在特征空间中良好地聚集。我们将 OoD 特征的中心称为特征空间奇点(Feature Space Singularity, FSS),并将样本特征到 FSS 的距离记为 FSSD。然后,可以通过对 FSSD 取阈值来识别 OoD 样本。我们对这一现象的分析揭示了算法生效的原因。我们证明了我们的算法在各种 OoD 检测基准上达到了最先进的性能。此外,FSSD 还对测试数据中的轻微损坏具有鲁棒性,并且可以通过集成进一步增强。这些使得 FSSD 成为一种有前景的、可应用于真实世界的算法。我们的代码发布于 \url{https://github.com/megvii-research/FSSD_OoD_Detection}。
引用
@article{arxiv.2011.14654,
title = {Feature Space Singularity for Out-of-Distribution Detection},
author = {Haiwen Huang and Zhihan Li and Lulu Wang and Sishuo Chen and Bin Dong and Xinyu Zhou},
journal= {arXiv preprint arXiv:2011.14654},
year = {2020}
}
备注
10 pages, 7 figures