面向生产环境的数据质量驱动机器学习端到端框架
机器学习
2025-12-24 v1
摘要
本文提出一种新颖的端到端框架，高效地将数据质量评估与机器学习(ML)模型操作集成到实际生产环境中。虽然现有方法将数据质量评估和ML系统视为孤立的过程，但我们的框架通过结合动态漂移检测、自适应数据质量指标和MLOps，构建了一个紧凑、轻量级的系统，以解决理论方法与实际实现之间的关键差距。其核心创新在于操作效率，使其能够在最小计算开销下实现实时、数据质量驱动的ML决策。我们在钢铁制造公司的电弧熔炼(ESR)真空抽气过程中验证了该框架，显示出12%的模型性能提升(R2=94%)以及四倍的预测延迟降低。通过探讨数据质量可接受阈值的影响，我们提供了在工业应用中平衡数据质量标准与预测性能的可操作见解。该框架代表了MLOps领域的重大进步，为动态工业环境中面向时间的、数据驱动的决策提供了稳健解决方案。
引用
@article{arxiv.2512.19723,
title = {End-to-End Data Quality-Driven Framework for Machine Learning in Production Environment},
author = {Firas Bayram and Bestoun S. Ahmed and Erik Hallin},
journal= {arXiv preprint arXiv:2512.19723},
year = {2025}
}
备注
38 Pages