通过数据净化与动态激活函数设计推进分布外检测
机器学习
2024-03-07 v1 计算机视觉与模式识别
摘要
在机器学习和深度学习的动态领域中，模型的鲁棒性和可靠性至关重要，尤其是在关键的现实世界应用中。该领域的一个基本挑战是管理分布外（OOD）样本，这会显著增加模型误分类和不确定性的风险。我们的工作通过增强神经网络中 OOD 样本的检测和管理来应对这一挑战。我们推出了 OOD-R（Out-of-Distribution-Rectified），这是一个经过精心策划的开源数据集集合，具有增强的降噪特性。现有 OOD 数据集中的分布内（ID）噪声可能导致对检测算法的不准确评估。认识到这一点，OOD-R 融入了噪声过滤技术以优化数据集，确保对 OOD 检测算法进行更准确和可靠的评估。这种方法不仅提高了整体数据质量，还有助于更好地区分 OOD 和 ID 样本，从而使模型准确率提高高达 2.5%，假阳性率至少降低 3.2%。此外，我们提出了 ActFun，这是一种创新方法，可微调模型对不同输入的响应，从而提高特征提取的稳定性并最小化特异性问题。ActFun 通过策略性地减少隐藏单元的影响，解决了 OOD 检测中模型过度自信的常见问题，从而增强了模型更准确估计 OOD 不确定性的能力。在 OOD-R 数据集中实施 ActFun 带来了显著的性能提升，包括 GradNorm 方法的 AUROC 提高了 18.42%，以及 Energy 方法的 FPR95 降低了 16.93%。总体而言，我们的研究不仅推进了 OOD 检测的方法论，还强调了数据集完整性对于准确算法评估的重要性。
引用
@article{arxiv.2403.03412,
title = {Advancing Out-of-Distribution Detection through Data Purification and Dynamic Activation Function Design},
author = {Yingrui Ji and Yao Zhu and Zhigang Li and Jiansheng Chen and Yunlong Kong and Jingbo Chen},
journal= {arXiv preprint arXiv:2403.03412},
year = {2024}
}