一种用于飞行数据异常检测的增量聚类方法
机器学习
2021-10-07 v4 机器学习
摘要
安全是民航的首要任务。人们已开发出 primarily 为聚类方法的新型异常检测方法来监控飞行员操作并检测此类飞行数据中的任何风险。然而，所有现有的异常检测方法都是离线学习——模型使用历史数据训练一次并用于所有未来预测。在实践中，新的飞行数据不断积累并由航空公司在每月进行分析。对这种动态增长的数据进行聚类对离线方法而言具有挑战性，因为每次新数据到来时重新训练模型在内存和时间上开销巨大。如果不重新训练模型，由于模型无法反映数据模式的变化，误报或漏检可能会增加。为解决该问题，我们提出一种基于高斯混合模型（GMM）的新型增量异常检测方法，以从数字飞行数据中识别常见模式并检测飞行操作中的离群点。它是一种飞行操作的概率聚类模型，可基于新数据增量更新其聚类，而非从头对所有数据重新聚类。它基于历史离线数据训练初始 GMM 模型。然后，它通过期望最大化（EM）算法持续适应新到达的数据点。为跟踪飞行操作模式的变化，仅需保存模型参数。所提方法在三组仿真数据和两组真实世界飞行数据上进行了测试。与传统的离线 GMM 方法相比，所提方法可生成相似的聚类结果，且处理时间（测试集中减少 57%–99%）和内存使用（测试集中减少 91%–95%）显著降低。初步结果表明增量学习方案在处理飞行数据分析中动态增长的数据方面是有效的。
引用
@article{arxiv.2005.09874,
title = {An Incremental Clustering Method for Anomaly Detection in Flight Data},
author = {Weizun Zhao and Lishuai Li and Sameer Alam and Yanjun Wang},
journal= {arXiv preprint arXiv:2005.09874},
year = {2021}
}