平均剪枝法：提升分布外检测的性能和稳定性
机器学习
2023-03-03 v1 计算机视觉与模式识别
摘要
在开放世界中，检测分布外（Out-of-distribution, OOD）输入一直是神经网络的一个关键问题。然而，训练过程中沿优化轨迹的OOD检测不稳定行为尚未被清晰探究。在本文中，我们首先发现OOD检测的性能在训练中存在过拟合和不稳定性：1）当训练误差接近零时性能会下降；2）在训练最后阶段性能会剧烈波动。基于我们的发现，我们提出了平均剪枝法（Average of Pruning, AoP），由模型平均和剪枝组成，以缓解这些不稳定行为。具体而言，模型平均可通过平滑损失景观来帮助实现稳定性能，而剪枝被证明可通过消除冗余特征来消除过拟合。我们在多个数据集和架构上进行了综合实验，以验证我们方法的有效性。
引用
@article{arxiv.2303.01201,
title = {Average of Pruning: Improving Performance and Stability of Out-of-Distribution Detection},
author = {Zhen Cheng and Fei Zhu and Xu-Yao Zhang and Cheng-Lin Liu},
journal= {arXiv preprint arXiv:2303.01201},
year = {2023}
}