稀疏、自组织的局部核团检测稀有统计异常
机器学习
2025-11-06 v1 人工智能
摘要
现代人工智能已彻底改变我们在多个科学领域提取丰富且多功能数据表示的能力。然而，这些表示的统计特性仍受到较少控制，导致误指定的异常检测（AD）方法在实际应用中受挫。弱信号或稀有信号可能隐藏在正常数据看似规则性中，导致我们在检测和解释异常方面存在差距。我们检视了这一差距，并识别出一组在最小先验信息下运行的检测方法的结构需求：稀疏性，以实现简约性；局部性，以保持几何灵敏性；以及竞争性，以促进模型容量的高效分配。这些原则定义了一类自组织局部核团，可在统计不平衡区域附近对表示空间进行自适应分区。作为这些原则的一个实现，我们引入 SparKer，这是一个稀疏的核团集成， 在半监督的尼尔森-皮尔森框架下训练，用于在可能包含异常的样本与无异常参考样本之间的似然比进行局部建模。我们提供了关于检测和自组织在所提出模型中驱动机制的理论见解，并演示了该方法在真实的高维科学发现、开放世界新颖检测、入侵检测和生成模型验证中的有效性。我们的应用涵盖自然科学和计算机科学领域。我们展示，仅包含少数核团的集成即可在表示空间数千维中识别统计显著的异常位置，凸显了该方法在可解释性、效率和可扩展性方面的优势。
引用
@article{arxiv.2511.03095,
title = {Sparse, self-organizing ensembles of local kernels detect rare statistical anomalies},
author = {Gaia Grosso and Sai Sumedh R. Hindupur and Thomas Fel and Samuel Bright-Thonney and Philip Harris and Demba Ba},
journal= {arXiv preprint arXiv:2511.03095},
year = {2025}
}