基于核主成分分析的分布外检测：非线性核函数选择与近似
机器学习
2025-05-22 v1 计算机视觉与模式识别
摘要
分布外检测对于深度神经网络的可靠性至关重要，其关键在于有效地刻划分布外数据与分布内数据之间的差异。本文从非线性特征子空间的角度出发，利用这种视角来利用分布内和分布外特征在该子空间中的差异进行有效的分布外检测。具体而言，我们利用核主成分分析（KPCA）的框架来获得判别性非线性子空间，并在该子空间上部署重建误差来区分分布内和分布外数据。会出现两个挑战：(i)有效非线性子空间的学习，即KPCA中核函数的选择，(ii)大规模分布内数据的核矩阵计算。针对前者，我们揭示了两种与分布内-分布外差异密切相关的关键非线性模式，从而建立了余弦-高斯核用于构建子空间。针对后者，我们引入两种技术对余弦-高斯核进行显著低成本计算的近似。特别是，我们进一步通过纳入分布内数据置信度来定制该近似方法，这被证明有助于学习面向分布外数据的判别性子空间。我们的研究为分布外检测提供了非线性特征子空间的新见解，并为相关核设计和高效计算做出了实际探索，产生一种在效能和效率上均显著提高的KPCA检测方法。
引用
@article{arxiv.2505.15284,
title = {Kernel PCA for Out-of-Distribution Detection: Non-Linear Kernel Selections and Approximations},
author = {Kun Fang and Qinghua Tao and Mingzhen He and Kexin Lv and Runze Yang and Haibo Hu and Xiaolin Huang and Jie Yang and Longbin Cao},
journal= {arXiv preprint arXiv:2505.15284},
year = {2025}
}
备注
This study is an extension of its conference version published in NeurIPS'24, see https://proceedings.neurips.cc/paper_files/paper/2024/hash/f2543511e5f4d4764857f9ad833a977d-Abstract-Conference.html