用于分布外检测的最优参数与神经元剪枝

对于部署在现实世界场景中的机器学习模型，检测分布外（OOD）样本的能力是不可或缺且具有挑战性的。大多数现有的 OOD 检测方法专注于探索先进的训练技巧或免训练技巧，以防止模型对未知样本产生过于自信的置信度分数。基于训练的方法需要昂贵的训练成本并依赖并不总是可用的 OOD 样本，而大多数免训练方法无法有效利用训练数据中的先验信息。在本文中，我们提出了一种**最**优**参**数与**神**经元**剪**枝（**OPNP**）方法，旨在识别并移除导致过拟合的参数和神经元。主要方法分为两步。第一步，通过对所有训练样本的平均梯度来评估模型参数和神经元的敏感性。第二步，移除具有异常大或接近零敏感性的参数和神经元以进行预测。我们的提案是免训练的，与其他事后方法兼容，并利用了所有训练数据中的信息。在多个 OOD 检测任务和模型架构上进行的广泛实验表明，我们提出的 OPNP 始终以大幅优势优于现有方法。