Collective Knowledge 项目：通过开放 API、可复用最佳实践与 MLOps 使 ML 模型更具可移植性与可复现性
机器学习
2020-06-22 v2 软件工程
机器学习
摘要
本文概述了 Collective Knowledge 技术（CK 或 cKnowledge）。CK 试图使 ML 与系统研究的复现、ML 模型在生产中的部署，以及使其适应持续变化的数据集、模型、研究技术、软件和硬件变得更加容易。CK 的理念是将复杂系统与临时研究项目分解为具有统一 API、CLI 和 JSON 元描述的 reusable 子组件。此类组件可使用 DevOps 原则结合可复用自动化动作、软件检测插件、元包和暴露的优化参数连接为可移植工作流。CK 工作流可在跨不同平台与环境以统一方式构建、运行和基准测试研究代码时，自动插入来自不同供应商的不同模型、数据和工具。此类工作流还有助于执行全系统优化、复现结果，并使用 CK 平台（https://cKnowledge.io）上的公共或私有排行榜进行比较。例如，模块化 CK 方法已与产业伙伴成功验证，用于自动协同设计与优化软件、硬件和机器学习模型，以实现可复现且高效的目标检测（在速度、精度、能耗、尺寸及其他特性方面）。长期目标是通过帮助研究人员与从业者利用开放 CK API 共享和复用其知识、经验、最佳实践、制品和技术，简化并加速 ML 模型与系统的开发和部署。
引用
@article{arxiv.2006.07161,
title = {The Collective Knowledge project: making ML models more portable and reproducible with open APIs, reusable best practices and MLOps},
author = {Grigori Fursin},
journal= {arXiv preprint arXiv:2006.07161},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:2001.07935