基于因果推断的自适应强化学习辅助的半监督异常检测方法
机器学习
2024-05-17 v2 人工智能
摘要
传感器信号的半监督异常检测对于确保智能制造系统的可靠性至关重要。然而，现有方法过度依赖数据相关性，忽视因果关系，导致因混杂因素进行误解释。此外，虽然当前的强化学习方法能有效识别有限标注样本下的已知和未知异常，但这些方法仍面临先验知识 underutilization、模型灵活性不足以及环境互动中奖励反馈不足等挑战。为此，本文创新性地构建了一个反事实因果强化学习模型，称为 Triple-Assisted Causal Reinforcement Learning Anomaly Detector（Tri-CRLAD）。该模型利用因果推断从数据中提取内在因果特征，增强代理人对先验知识的利用，提高其泛化能力。此外，Tri-CRLAD 具备三重决策支持机制，包括基于历史相似性的抽样策略、自适应阈值平滑调整策略以及自适应决策奖励机制。这些机制进一步提升了模型的灵活性和泛化能力，使其能有效应对各种复杂且动态变化的环境。实验结果表明，Tri-CRLAD 在七个多样化传感器信号数据集上均优于九种最先进的基线方法。值得注意的是，Tri-CRLAD 在最小已知异常样本的情况下，实现了最高可达 23% 的异常检测稳定性提升，凸显了其在半监督异常检测场景中的潜力。我们的代码已公开于 https://github.com/Aoudsung/Tri-CRLAD。
引用
@article{arxiv.2405.06925,
title = {Semi-supervised Anomaly Detection via Adaptive Reinforcement Learning-Enabled Method with Causal Inference for Sensor Signals},
author = {Xiangwei Chen and Ruliang Xiaoa and Zhixia Zeng and Zhipeng Qiu and Shi Zhang and Xin Du},
journal= {arXiv preprint arXiv:2405.06925},
year = {2024}
}