Model2Detector：利用少量梯度步拓宽信息瓶颈以实现分布外检测
机器学习
2022-02-24 v1 人工智能
摘要
分布外检测是一项重要能力，长期以来 vanilla 神经网络一直缺乏该能力。深度神经网络（DNNs）在面对显著分布外（OOD）输入时往往产生过度自信的预测。在真实环境中部署机器学习系统时，这可能带来危险，因为由此难以检测攻击。近期推理时分布外检测的进展有助于缓解部分问题。然而，现有方法可能具有局限性，因为它们通常计算代价高昂。此外，这些方法需要训练一个下游检测器模型，以学习从分布内输入中检测 OOD 输入，从而在推理时引入延迟。在此，我们从信息论角度解释神经网络为何天生无法进行 OOD 检测。我们尝试通过使用少量梯度下降步将已训练模型转换为 OOD 检测器来减轻这些缺陷。我们的工作可用作后处理方法，使推理时机器学习系统能将已训练模型转换为 OOD 检测器。在实验上，我们展示了我们的方法在流行图像数据集上的检测精度持续优于最先进水平，同时降低了计算复杂度。
引用
@article{arxiv.2202.11226,
title = {Model2Detector: Widening the Information Bottleneck for Out-of-Distribution Detection using a Handful of Gradient Steps},
author = {Sumedh A Sontakke and Buvaneswari Ramanan and Laurent Itti and Thomas Woo},
journal= {arXiv preprint arXiv:2202.11226},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:1807.03888, arXiv:1812.04606 by other authors