ITP:用于分布外检测的实例感知测试时剪枝
计算机视觉与模式识别
2024-12-18 v1
摘要
分布外(OOD)检测对于确保深度模型在真实场景中的可靠部署至关重要。近期,从过参数化的角度出发,一系列利用权重稀疏化技术的方法展现出了良好的性能。这些方法通常侧重于为分布内(ID)数据选择重要参数,以减少冗余参数对OOD检测的负面影响。然而,我们通过实验发现,这些被选中的参数可能会对OOD数据表现出过度自信,从而损害OOD检测。为了解决这个问题,我们提出了一种简单而有效的事后方法,称为实例感知测试时剪枝(ITP),该方法通过考虑粗粒度和细粒度级别的参数剪枝来执行OOD检测。具体而言,ITP首先通过探索ID数据来估计特定类别的参数贡献分布。利用该贡献分布,ITP进行粗粒度剪枝以消除冗余参数。更重要的是,ITP进一步基于右尾Z检验采用细粒度测试时剪枝过程,该过程能够自适应地移除实例级过度自信的参数。最后,ITP从剪枝后的模型中导出OOD分数,以实现更可靠的预测。在广泛采用的基准上的大量实验验证了ITP的有效性,证明了其具有竞争力的性能。
引用
@article{arxiv.2412.12566,
title = {ITP: Instance-Aware Test Pruning for Out-of-Distribution Detection},
author = {Haonan Xu and Yang Yang},
journal= {arXiv preprint arXiv:2412.12566},
year = {2024}
}