面向异常检测的知识蒸馏赋能数字孪生
机器学习
2023-09-13 v2 软件工程
摘要
信息物理系统（CPSs），如列车控制与管理系统（TCMS），在关键基础设施中正变得无处不在。作为安全关键系统，确保其在运行期间的可靠性至关重要。数字孪生（DTs）因具备运行时监测与预警、异常预测与检测等能力，已日益被用于此目的。然而，为 TCMS 构建用于异常检测的 DT 需要充足的训练数据，并高质量地提取时序与上下文特征。因此，本文提出一种名为 KDDT 的新方法用于 TCMS 异常检测。KDDT 利用语言模型（LM）与长短期记忆（LSTM）网络分别提取上下文与时序特征。为丰富数据量，KDDT 借助知识蒸馏（KD）利用域外数据。我们使用来自工业合作伙伴 Alstom 的两个数据集对 KDDT 进行了评估，分别获得了 0.931 和 0.915 的 F1 分数，证明了 KDDT 的有效性。我们还通过全面的实证研究探讨了 DT 模型、LM 和 KD 对 KDDT 整体性能各自的贡献，并观察到平均 F1 分数分别提升了 12.4%、3% 和 6.05%。
引用
@article{arxiv.2309.04616,
title = {Knowledge Distillation-Empowered Digital Twin for Anomaly Detection},
author = {Qinghua Xu and Shaukat Ali and Tao Yue and Zaimovic Nedim and Inderjeet Singh},
journal= {arXiv preprint arXiv:2309.04616},
year = {2023}
}