机器学习项目中的持续集成实践：从业者视角
软件工程
2025-02-25 v1 机器学习
摘要
持续集成（CI）是现代软件开发的基石。然而，尽管CI在传统软件项目中被广泛采用，但将CI实践应用于机器学习（ML）项目却呈现出独特的特征。例如，我们先前的工作表明，与非ML项目相比，ML项目通常经历更长的构建持续时间和更低的测试覆盖率。在这些定量发现的基础上，本研究调查了来自47个ML项目的155名从业者，以通过定性视角探究这些独特特征背后的深层原因。从业者强调了八个关键差异，包括测试复杂性、基础设施需求以及构建持续时间与稳定性。从业者提到的常见挑战包括更高的项目复杂性、模型训练需求、广泛的数据处理、增加的计算资源需求以及依赖管理，这些均导致了构建持续时间的延长。此外，ML系统的非确定性本质、数据依赖性和计算限制被确定为有效测试的重大障碍。本研究的关键结论是，尽管基础CI原则仍然有价值，但ML项目需要量身定制的方法以应对其独特挑战。为弥合这一差距，我们提出了一套针对ML的CI实践，包括跟踪模型性能指标和优先在CI流水线中执行测试。此外，我们的发现强调了培养跨学科协作以加强ML项目测试文化的重要性。通过将定量发现与从业者的见解相结合，本研究提供了对CI实践与ML项目独特需求之间相互作用的更深入理解，为该领域更高效、更鲁棒的CI策略奠定了基础。
引用
@article{arxiv.2502.17378,
title = {Continuous Integration Practices in Machine Learning Projects: The Practitioners` Perspective},
author = {João Helis Bernardo and Daniel Alencar da Costa and Filipe Roseiro Cogo and Sérgio Queiróz de Medeiros and Uirá Kulesza},
journal= {arXiv preprint arXiv:2502.17378},
year = {2025}
}