DICE：利用稀疏化进行分布外检测
机器学习
2022-07-19 v2
摘要
检测分布外（OOD）输入是在现实世界中安全部署机器学习模型的核心挑战。以往的方法通常依赖于从过度参数化的权重空间导出的 OOD 分数，而在很大程度上忽视了稀疏化的作用。在本文中，我们揭示了重要见解：对不重要权重和单元的依赖可直接归因于 OOD 检测的脆弱性。为缓解该问题，我们提出了一种基于稀疏化的 OOD 检测框架，称为 DICE。我们的核心思想是根据贡献度量对权重进行排序，并选择性地使用最显著的权重来导出用于 OOD 检测的输出。我们提供了经验和理论见解，刻画并解释了 DICE 改善 OOD 检测的机制。通过剪除噪声信号，DICE 可证明地降低 OOD 数据的输出方差，从而产生更尖锐的输出分布以及与 ID 数据更强的可分离性。我们在多个基准上展示了基于稀疏化的 OOD 检测的有效性，并建立了具有竞争力的性能。
引用
@article{arxiv.2111.09805,
title = {DICE: Leveraging Sparsification for Out-of-Distribution Detection},
author = {Yiyou Sun and Yixuan Li},
journal= {arXiv preprint arXiv:2111.09805},
year = {2022}
}
备注
Accepted in ECCV2022