迈向时间序列异常检测的严谨评估
机器学习
2022-01-05 v2 人工智能
统计方法学
摘要
近年来，关于时间序列异常检测（TAD）的研究在基准TAD数据集上报告了较高的F1分数，给人以TAD取得明显进展的印象。然而，大多数研究在评分前采用了一种称为点调整（PA）的特殊评估协议。本文中，我们从理论和实验上揭示PA协议极有可能高估检测性能；即即便是随机异常分数也能轻易变成最先进的TAD方法。因此，在应用PA协议后比较TAD方法可能导致误导性的排名。此外，我们通过展示一个未训练模型在禁用PA时也能获得与现有方法相当的 detection 性能，质疑现有TAD方法的潜力。基于我们的发现，我们提出了一种新的基线和评估协议。我们期望本研究有助于TAD的严谨评估，并推动未来研究的进一步改进。
引用
@article{arxiv.2109.05257,
title = {Towards a Rigorous Evaluation of Time-series Anomaly Detection},
author = {Siwon Kim and Kukjin Choi and Hyun-Soo Choi and Byunghan Lee and Sungroh Yoon},
journal= {arXiv preprint arXiv:2109.05257},
year = {2022}
}
备注
11 pages, 8 figures