NODI：利用扩散噪声进行分布外检测
计算机视觉与模式识别
2024-01-19 v2 机器学习
摘要
分布外（OOD）检测是安全部署机器学习模型的关键部分。文献中已对此进行了广泛研究，并开发了众多方法。该问题通过计算OOD分数来解决，然而，以往方法在计算OOD分数时对分布内数据集的使用有限。例如，OOD分数仅利用分布内数据的一小部分信息进行计算。此外，这些方法使用神经图像编码器对图像进行编码。这些方法在不同训练方法和架构的图像编码器下的鲁棒性很少被检验。在本工作中，我们将扩散过程引入OOD任务。扩散模型将整个训练集的信息整合到预测的噪声向量中。更重要的是，我们推导出了噪声向量（稳定点）的闭式解。然后将噪声向量转换为我们的OOD分数，我们在OOD基准测试集上测试了深度模型预测的噪声向量和闭式噪声向量。我们的方法在所有类型的图像编码器上均优于以往的OOD方法（表. \ref{main}）。使用基于MAE的图像编码器时，性能提升了3.5%。此外，我们通过应用不同类型的图像编码器研究了OOD方法的鲁棒性。当图像编码器从ResNet切换到Vision Transformer时，一些OOD方法未能很好地泛化，而我们的方法在所有图像编码器上均表现出良好的鲁棒性。
引用
@article{arxiv.2401.08689,
title = {NODI: Out-Of-Distribution Detection with Noise from Diffusion},
author = {Jingqiu Zhou and Aojun Zhou and Hongsheng Li},
journal= {arXiv preprint arXiv:2401.08689},
year = {2024}
}