ModelCI-e：在深度学习服务系统中实现持续学习
分布式、并行与集群计算
2021-06-08 v1 机器学习
摘要
MLOps 关乎将实验性 ML 模型投入生产，即向实际用户服务模型。遗憾的是，现有 ML 服务系统未能充分应对在线数据偏离离线训练数据的动态环境，导致繁琐的模型更新与部署工作。本文实现了一个轻量级 MLOps 插件，称为 ModelCI-e（持续集成与演化），以解决该问题。具体而言，它融合持续学习（CL）与 ML 部署技术，为模型更新与验证提供端到端支持，而无需服务引擎定制。ModelCI-e 包括 1) 一个模型工厂，使 CL 研究者能轻松原型化与基准测试 CL 模型，2) 一个 CL 后端以高效自动化编排模型更新，以及 3) 一个供 ML 团队协同管理 CL 服务的 Web 界面。我们的初步结果展示了 ModelCI-e 的可用性，并表明消除模型更新与推理负载间的干扰对更高系统效率至关重要。
引用
@article{arxiv.2106.03122,
title = {ModelCI-e: Enabling Continual Learning in Deep Learning Serving Systems},
author = {Yizheng Huang and Huaizheng Zhang and Yonggang Wen and Peng Sun and Nguyen Binh Duong TA},
journal= {arXiv preprint arXiv:2106.03122},
year = {2021}
}