用于系统轨迹恢复的深度学习
机器学习
2019-04-12 v1 机器学习
摘要
大多数真实世界数据集,尤其是从物理系统采集的数据集,充满噪声、丢包及其他不完善之处。然而,大多数规约挖掘、异常检测及诸如此类的算法假定甚至要求完美的数据质量才能正常运作。此类算法在给定干净、受控数据的实验室条件下或许可行,但在给定不完善数据的现场则会失效。我们提出了一种利用长短期记忆网络(LSTMs)准确重建受数据丢失影响的离散时间或序列系统轨迹的方法。该模型通过学习预测事件序列中的下一事件,并将其自身输出作为输入以持续预测未来事件来工作。因此,即便对流式数据,该方法也可用于数据恢复。此方法可重建即便较长的缺失事件序列,并有助于验证与改善噪声数据的数据质量。模型输出将为真实数据的近似重建,并可馈入依赖干净数据的算法。我们通过重建由长离散事件序列组成的汽车CAN轨迹来展示我们的方法。我们表明,即便仅给定CAN轨迹的小部分,我们的LSTM模型也能以近90%的准确率预测未来事件,并可成功重建原始轨迹的大段部分,大幅优于Markov模型基准。我们将原始、有损及重建轨迹分别馈入规约挖掘框架,以对我们方法给使用这些轨迹理解复杂系统行为的state-of-the-art模型的影响进行下游分析。
引用
@article{arxiv.1904.05411,
title = {Deep Learning for System Trace Restoration},
author = {Ilia Sucholutsky and Apurva Narayan and Matthias Schonlau and Sebastian Fischmeister},
journal= {arXiv preprint arXiv:1904.05411},
year = {2019}
}
备注
Pre-print (accepted to IJCNN 2019)