探索邻域风险最小化用于轻量级分布外检测
机器学习
2020-12-16 v1 计算机视觉与模式识别
摘要
深度神经网络已广泛用于解决从图像识别到自然语言处理的复杂任务。然而，当面对不属于训练分布的数据（即分布外（OoD）样本）时，这些网络会做出置信度高的错误预测。本文探讨邻域风险最小化（VRM）在不同类别边界间平滑插值的性质是否有助于训练更好的 OoD 检测器。我们将 VRM 应用于现有 OoD 检测技术并展示其性能提升。我们观察到现有 OoD 检测器存在显著的内存与计算开销，因此利用 VRM 开发了一种开销极小的 OoD 检测器。我们的检测方法引入一个辅助类别用于分类 OoD 样本。我们以两种方式利用 mixup 实现邻域风险最小化。首先，我们在同类内执行 mixup；其次，在训练辅助类别时与高斯噪声执行 mixup。与现有 OoD 检测技术相比，我们的方法以显著更少的计算与内存开销取得了接近竞争性的性能。这促进了 OoD 检测在边缘设备上的部署，并拓展了对邻域风险最小化用于训练 OoD 检测器的理解。
引用
@article{arxiv.2012.08398,
title = {Exploring Vicinal Risk Minimization for Lightweight Out-of-Distribution Detection},
author = {Deepak Ravikumar and Sangamesh Kodge and Isha Garg and Kaushik Roy},
journal= {arXiv preprint arXiv:2012.08398},
year = {2020}
}