大语言模型引导的知识蒸馏用于时间序列异常检测
机器学习
2024-01-30 v1 人工智能
摘要
自监督方法由于可用标注稀缺而在时间序列异常检测中获得了 prominence。然而，它们通常需要大量训练数据来获得可泛化的表示映射，这与样本数量少的场景相冲突，从而限制了它们的性能。为了克服这一限制，我们提出了AnomalyLLM，一种基于知识蒸馏的时间序列异常检测方法，其中学生网络被训练来模仿在大规模数据集上预训练的大语言模型（LLM）教师网络的特征。在测试阶段，当教师网络和学生网络的特征差异较大时，检测到异常。为了避免学生网络学习教师网络对异常样本的特征，我们设计了两个关键策略。1）将原型信号纳入学生网络以巩固正常特征提取。2）我们使用合成异常来扩大两个网络之间的表示差距。AnomalyLLM在15个数据集上展示了最先进的性能，在UCR数据集上准确率至少提高了14.5%。
引用
@article{arxiv.2401.15123,
title = {Large Language Model Guided Knowledge Distillation for Time Series Anomaly Detection},
author = {Chen Liu and Shibo He and Qihang Zhou and Shizhong Li and Wenchao Meng},
journal= {arXiv preprint arXiv:2401.15123},
year = {2024}
}
备注
12 pages, 5 figures