基于结构的异常检测与聚类

异常检测是 healthcare、制造业和网络安全等领域的基本问题。本论文提出了针对结构化数据和流式数据两种场景的新型无监督异常检测方法。第一部分聚焦于结构化异常检测，即正常数据遵循低维流形，而异常偏离该流形。我们引入 Preference Isolation Forest (PIF)，通过流形拟合将数据嵌入高维偏好空间，并使用两种变体进行离群点隔离：基于几何距离的 Voronoi-iForest，以及基于局部敏感哈希的 RuzHash-iForest 以实现可扩展性。我们还提出了能够捕获局部流形信息的 Sliding-PIF 以适应流式场景。我们的方法在合成数据和真实数据集上均优于现有技术。我们将其扩展到结构化聚类，提出 MultiLink—a 一种用于从噪声数据中恢复多个几何模型家族的新方法。MultiLink 通过一种 model-aware 链接策略合并聚类，实现对多类结构的稳健恢复。它相对于现有方法具有速度快、对阈值不敏感、对初始抽样质量鲁棒性更好的关键优势。论文的第二部分针对演化中数据流的在线异常检测。我们提出 Online Isolation Forest (Online-iForest)，其使用自适应、多分辨率直方图并动态更新树结构以跟踪时间中的变化。它避免了重新训练，同时在准确率上可与离线模型相当，对于实时应用具有优越的效率。最后，我们通过开放集识别解决网络安全中的异常检测问题。我们将 MaxLogit 用于增强 Gradient Boosting 分类器，以检测未见的恶意软件家族。该方法已集成到 Cleafy 的生产系统中。