子相邻变换器: 基于子相邻邻域重构误差的时序异常检测

本文提出了一种用于无监督时序异常检测的子相邻变换器（Sub-Adjacent Transformer），其采用新颖的注意力机制。与之前依赖于某些邻域内所有点进行时点重构的方法不同，我们将注意力限制在目标点不 immediately 相邻的区域，称为子相邻邻域。我们的关键观察是，由于异常点稀少，它们通常与子相邻邻域的差异比与其 immediate 邻近更为显著。通过将注意力集中于子相邻区域，我们使对异常点的重构更具挑战性，从而增强了其检测可见性。技术上，我们通过放大训练阶段的注意力矩阵相应元素，以便集中注意力于注意力矩阵的非对角区域。为便于实现所需的注意力矩阵模式，我们采用线性注意力机制 due to its flexibility and adaptability。此外，还提出了一种可学习的映射函数以提高线性注意力的性能。经实验验证，子相邻变换器在覆盖服务器监控、太空探索和水处理等多样化领域的六个真实世界异常检测基准测试中实现了最先进的性能。