利用Levenberg-Marquardt优化器与时间序列异常检测的能力
机器学习
2021-11-12 v1 最优化与控制
摘要
Levenberg-Marquardt（LM）优化算法已被广泛用于解决机器学习问题。文献综述表明，当网络中的权重数量不超过几百个时，LM在中等规模函数逼近问题上可以非常强大且有效。相比之下，LM在处理模式识别或分类问题时表现似乎不佳，且当网络变大时（例如权重超过500个）效率低下。在本文中，我们利用一些真实世界的飞机数据集挖掘LM算法的真正能力。在这些数据集上，大多数其他常用优化器无法检测到由飞机发动机工况变化引起的异常。这些数据集的挑战性在于时间序列数据的突变。我们发现，LM优化器在逼近突变和检测异常方面比其他优化器具有更强的能力。我们比较了LM与若干其他优化器在解决该异常/变化检测问题上的性能。我们基于一系列度量评估相对性能，包括网络复杂度（即权重数量）、拟合精度、过拟合、训练时间、GPU使用和内存需求等。我们还讨论了在MATLAB和Tensorflow中稳健实现LM的问题，以促进LM算法的更广泛应用以及LM优化器在大规模问题中的潜在使用。
引用
@article{arxiv.2111.06060,
title = {Exploiting the Power of Levenberg-Marquardt Optimizer with Anomaly Detection in Time Series},
author = {Wenyi Wang and John Taylor and Biswajit Bala},
journal= {arXiv preprint arXiv:2111.06060},
year = {2021}
}
备注
8 pages, 9 figures, unpublished manuscript