Pi-Transformer：面向多变量时间序列异常检测的先验信息双注意力模型
机器学习
2026-03-20 v2
摘要
多变量时间序列的异常往往源于时序上下文和跨通道协调，而非孤立的离群点。我们提出Pi-Transformer（先验信息Transformer），一种具有两个注意力路径的Transformer：数据驱动的序列注意力和编码时序不变性（如尺度相关自相似性和相位同步性）的平滑演化先验注意力。该先验提供幅值不敏感的时序参考，以校准重构误差。训练时，我们将重构目标与一个鼓励两者注意力一致但保持显著差异的发散项配对。该先验被正则化以平滑演化，轻度蒸馏至数据集层面的统计。推理时，模型将基于对齐加权重构信号（能量）与突出时机和相位失调的错位信号组合，并融合为单一检测得分。跨五个基准（SMD、MSL、SMAP、SWaT和PSM），Pi-Transformer在F1分数上实现了最先进或高度竞争的水平，在时机和相位破坏型异常检测方面尤为突出。案例分析显示，两个流的行为具有互补性，检测结果在 regime 变化处具有可解释性。将先验注意力嵌入Transformer计分机制，构建了复杂多变量系统中一种校准且稳健的异常检测方法。
关键词
引用
@article{arxiv.2509.19985,
title = {Pi-transformer: A prior-informed dual-attention model for multivariate time-series anomaly detection},
author = {Sepehr Maleki and Negar Pourmoazemi},
journal= {arXiv preprint arXiv:2509.19985},
year = {2026}
}