中文

理解偏差对深度异常检测的影响

机器学习 2021-05-18 v1 人工智能

摘要

由于异常标注数据稀缺,异常检测在机器学习中面临独特挑战。近期工作尝试通过用额外标注异常样本增强深度异常检测模型训练来缓解此类问题。然而,标注数据常与目标分布不一致,并为训练模型引入有害偏差。本文旨在理解有偏异常集对异常检测的影响。具体地,我们将异常检测视为一个监督学习任务,其目标是在给定误报率下优化召回率。我们形式化地研究了异常检测器的相对评分偏差,定义为相对于基线异常检测器的性能差异。我们建立了估计深度异常检测相对评分偏差的首个有限样本率,并在合成与真实数据集上实证验证理论结果。我们还提供了关于有偏训练异常集如何影响异常评分函数从而在不同异常类上影响检测性能的广泛实证研究。我们的研究展示了有偏异常集有益或有害的场景,并为未来研究提供了坚实基准。

关键词

引用

@article{arxiv.2105.07346,
  title  = {Understanding the Effect of Bias in Deep Anomaly Detection},
  author = {Ziyu Ye and Yuxin Chen and Haitao Zheng},
  journal= {arXiv preprint arXiv:2105.07346},
  year   = {2021}
}

备注

Accepted at IJCAI '21. Codes available on github.com/ZIYU-DEEP/Understanding-Bias-in-Deep-Anomaly-Detection-PyTorch