论制造环境中机器学习应用的可靠性
机器学习
2021-12-21 v2
摘要
物联网（IoT）设备与信息物理系统（CPS）等先进数字技术在工业环境中的日益部署，使得机器学习（ML）算法能够在制造领域得到生产性应用。随着 ML 应用从研究走向真实工业环境中的生产性使用，可靠性问题随之产生。由于大多数 ML 模型在静态数据集上训练和评估，需要对其性能进行持续在线监测以构建可靠系统。此外，概念漂移与传感器漂移会导致算法精度随时间退化，若未被检测且未妥善处理，将危及安全性、接受度与经济性。本工作中，我们在一份公开可用的、记录时长 36 个月的工业数据集上示例性地凸显该问题的严重性，并解释可能的漂移来源。我们评估了制造中常用 ML 算法的鲁棒性，表明所有被测算法的精度均随漂移增大而急剧下降。我们进一步探究如何利用不确定性估计进行在线性能估计以及漂移检测，作为迈向持续学习应用的第一步。结果表明，诸如随机森林之类的集成算法在漂移下表现出最弱的不确定性校准衰减。
引用
@article{arxiv.2112.06986,
title = {On The Reliability Of Machine Learning Applications In Manufacturing Environments},
author = {Nicolas Jourdan and Sagar Sen and Erik Johannes Husom and Enrique Garcia-Ceja and Tobias Biegel and Joachim Metternich},
journal= {arXiv preprint arXiv:2112.06986},
year = {2021}
}
备注
Workshop on Distribution Shifts, 35th Conference on Neural Information Processing Systems (NeurIPS 2021)