深度神经网络中由维度引起的异常值信息损失
机器学习
2024-10-30 v1
摘要
分布外 (OOD) 检测是使用深度神经网络 (DNN) 的系统稳定可靠运行的关键问题。尽管已提出许多 OOD 检测方法，但目前仍不清楚分布内 (ID) 与 OOD 样本之间的差异是如何由 DNN 内部的每个处理步骤产生的。我们通过从多个视角研究特征表示的层依赖性，在实验上阐明了这一问题。我们发现，DNN 的内在低维化对于理解 OOD 样本如何随着特征传播到更深层而变得更加不同于 ID 样本至关重要。基于这些观察，我们提供了一个简单且能一致解释 OOD 样本各种特性的图景。具体而言，低维权重消除了 OOD 样本的大部分信息，导致由于过度关注数据集偏差而产生误分类。此外，我们通过提出一种基于特征与权重对齐的维度感知 OOD 检测方法，展示了维度的效用，该方法在各种数据集上均能以更低的计算成本持续取得高性能。
引用
@article{arxiv.2410.21656,
title = {Dimensionality-induced information loss of outliers in deep neural networks},
author = {Kazuki Uematsu and Kosuke Haruki and Taiji Suzuki and Mitsuhiro Kimura and Takahiro Takimoto and Hideyuki Nakagawa},
journal= {arXiv preprint arXiv:2410.21656},
year = {2024}
}
备注
This preprint has not undergone peer review (when applicable) or any post-submission improvements or corrections. The Version of Record of this contribution is published in ECML PKDD 2024, and is available online at https://doi.org/10.1007/978-3-031-70341-6_9