利用基于注意力的孤立森林改进异常检测
机器学习
2022-10-07 v1 机器学习
摘要
本文提出一种称为基于注意力的孤立森林（ABIForest）的孤立森林新改进方法，用于解决异常检测问题。该方法将注意力机制以 Nadaraya-Watson 回归的形式引入孤立森林，以改进异常检测问题的求解。该改进的核心思想是根据样本实例和树本身，为每棵树的各条路径分配带有可学习参数的注意力权重。提出使用 Huber 污染模型来定义注意力权重及其参数。因此，注意力权重线性依赖于可学习的注意力参数，这些参数通过求解标准线性或二次优化问题来训练。ABIForest 可视为孤立森林的首个改进，它以简单方式引入注意力机制而无需应用基于梯度的算法。在合成与真实数据集上的数值实验表明了 ABIForest 的优越性能。所提算法的代码已公开。
引用
@article{arxiv.2210.02558,
title = {Improved Anomaly Detection by Using the Attention-Based Isolation Forest},
author = {Lev V. Utkin and Andrey Y. Ageev and Andrei V. Konstantinov},
journal= {arXiv preprint arXiv:2210.02558},
year = {2022}
}