存在噪声与有限反馈的序贯异常检测
机器学习
2016-11-17 v4
摘要
本文描述了一种从序贯观测且可能含噪的数据中检测异常的方法。所提方法包含两个主要要素：(1) {\em 滤波}，即基于我们从先前含噪观测中预测当前观测值的能力，为每次连续测量分配一个信念或似然；(2) {\em 对冲}，即通过将当前信念与时变且数据自适应的阈值进行比较，来标记潜在异常。该阈值根据终端用户的可用反馈进行调整。我们的算法结合了通用预测与近期关于在线凸规划的研究，无需在给定所有当前观测的情况下计算后验分布，且仅涉及简单的原始-对偶参数更新。所提方法的核心在于指数族模型，该模型可广泛应用于各种情境与应用中，并由此产生的方法在应对静态分布与边际取自同一指数族的缓变乘积分布时，均能达到亚线性的每轮遗憾。此外，针对静态分布的遗憾与相应在线强凸博弈的极小极大值相一致。我们还证明了在避险步骤中，相对于能够获取所有估计信念与反馈信号的最佳离线阈值选择所犯错误数量的界限。我们在从高维二元向量上的时变分布中抽取的合成数据，以及 Enron 邮件数据集上验证了该理论。
引用
@article{arxiv.0911.2904,
title = {Sequential anomaly detection in the presence of noise and limited feedback},
author = {Maxim Raginsky and Rebecca Willett and Corinne Horn and Jorge Silva and Roummel Marcia},
journal= {arXiv preprint arXiv:0911.2904},
year = {2016}
}
备注
19 pages, 12 pdf figures; final version to be published in IEEE Transactions on Information Theory