基于逆强化学习的序列异常检测
机器学习
2020-04-23 v1 机器学习
摘要
异常检测中最有趣的应用场景之一是面向序列数据的情况。例如，在安全关键环境中，拥有自动检测系统来筛查监控传感器收集的流数据并在实时检测到异常时报告异常观测至关重要。当这些潜在异常是蓄意的或目标导向时，往往风险要高得多。我们提出了一种使用逆强化学习（IRL）的端到端序列异常检测框架，其目标是确定触发决策主体行为的底层函数。所提方法以目标主体（以及可能的其他元信息）的动作序列作为输入。该主体的正常行为随后通过经IRL推断的奖励函数得以理解。我们使用神经网络来表示奖励函数。利用学习到的奖励函数，我们评估目标主体的新观测是否遵循正常模式。为构建可靠的异常检测方法并考虑预测异常分数的置信度，我们采用贝叶斯方法进行IRL。在公开可用真实数据上的实证研究表明，我们所提方法能有效识别异常。
引用
@article{arxiv.2004.10398,
title = {Sequential Anomaly Detection using Inverse Reinforcement Learning},
author = {Min-hwan Oh and Garud Iyengar},
journal= {arXiv preprint arXiv:2004.10398},
year = {2020}
}
备注
Published in KDD 2019 (Oral in Research Paper Track)