friend or foe? 利用可控过拟合进行异常检测
机器学习
2025-08-05 v2 人工智能
摘要
过拟合传统上被视为异常检测的负面因素，过度泛化往往限制模型对细微异常的灵敏度。我们的工作挑战了这一常规观点，通过引入可控过拟合异常检测框架(COAD)，战略性地利用过拟合来增强异常判别能力。我们提出了异构保持比率(ARQ)，这是一种新颖的度量标准，用于系统性地量化过拟合的程度，从而在模型对异常灵敏度最大化而不牺牲泛化能力的同时识别最佳黄金过拟合区间。为全面捕捉过拟合对检测性能的影响，我们进一步提出了相对异常分布指数(RADI)，该度量优于传统 AUROC，显式建模正常和异常得分分布之间的分离。理论上，RADI 利用 ARQ 跟踪和评估过拟合对异常检测的影响，提供了一种集成方法来理解过拟合动力学与模型效能之间的关系。我们还严格验证了高斯噪声作为伪异常生成器的统计效能，强化了方法的广泛适用性。实证评估表明，我们的可控过拟合方法在单类和多类异常检测任务中实现了最先进(SOTA)性能，从而将过拟合重新定义为一种强大的策略而非局限。
引用
@article{arxiv.2412.00560,
title = {Friend or Foe? Harnessing Controllable Overfitting for Anomaly Detection},
author = {Long Qian and Bingke Zhu and Yingying Chen and Ming Tang and Jinqiao Wang},
journal= {arXiv preprint arXiv:2412.00560},
year = {2025}
}