没有免费午餐：异常检测中过表达表示的危害
机器学习
2023-06-13 v1 计算机视觉与模式识别
摘要
由深度学习驱动的异常检测方法近期取得显著进展，主要归功于表征的提升。人们很容易假设异常检测可通过扩大网络规模、使其表征更具表达力而无限改进。本文给出相反的理论与经验证据。事实上，我们通过实验展示了在一些案例中，极具表达力的表征在超出被广泛研究的以物体为中心的数据集进行评估时，甚至无法检测简单异常。为探究此现象，我们首先引入一种用于异常检测性能的新的理论玩具模型。该模型揭示了表征充分性与过表达力之间的根本权衡。它为异常检测中的无免费午餐定理提供了证据，该定理指出增加表征表达力最终将导致性能退化。相反，必须提供引导以将表征聚焦于与所关注异常相关的属性。我们进行了广泛的实证调查，表明最先进表征常受困于过表达力，未能检测多种异常类型。我们的调查展示了这种过表达力如何在实际场景中损害图像异常检测。我们以缓解该问题的未来方向作结。
引用
@article{arxiv.2306.07284,
title = {No Free Lunch: The Hazards of Over-Expressive Representations in Anomaly Detection},
author = {Tal Reiss and Niv Cohen and Yedid Hoshen},
journal= {arXiv preprint arXiv:2306.07284},
year = {2023}
}