MGit：一种模型版本化与管理系统
机器学习
2023-07-17 v1 分布式、并行与集群计算
软件工程
摘要
在当今机器学习（ML）中，由其他模型派生出的模型极为常见。例如，迁移学习通过微调从“预训练”模型创建特定任务的模型。这导致了一个模型相互关联、共享结构且常常共享参数值的生态系统。然而，这些模型衍生品难以管理：存储所有派生模型的存储开销迅速变得繁重，促使用户丢弃可能对进一步分析有用的中间模型。此外，模型中的不良行难以追踪（例如，某个缺陷是否继承自上游模型？）。在本文中，我们提出了一种称为 MGit 的模型版本化与管理系统，使模型衍生品的存储、测试、更新和协作更加容易。MGit 引入了记录模型间来源与版本信息的谱系图、高效存储模型参数的优化方法，以及在该谱系图之上的抽象，以促进相关的测试、更新与协作功能。MGit 能够将谱系图的存储占用减少多达 7 倍，并自动更新下游模型以响应上游模型的更新。
引用
@article{arxiv.2307.07507,
title = {MGit: A Model Versioning and Management System},
author = {Wei Hao and Daniel Mendoza and Rafael da Silva and Deepak Narayanan and Amar Phanishaye},
journal= {arXiv preprint arXiv:2307.07507},
year = {2023}
}