ModelHub：面向深度学习的统一数据与生命周期管理

深度学习在许多重要领域改进了最先进水平（SOTA）结果，并且近年来成为许多研究的主题，导致了若干促进深度学习的系统的发展。然而，当前系统主要关注模型构建和训练阶段，而数据管理、模型共享和生命周期管理问题在很大程度上被忽视。深度学习建模生命周期生成了丰富的数据工件集，例如学习到的参数和训练日志，并包含若干频繁执行的任务，例如理解模型行为和尝试新模型。处理此类工件和任务很繁琐，并且很大程度上留给了用户。本文描述了我们对于深度学习的数据和生命周期管理系统的愿景和实现。首先，我们从深度学习建模者常执行的任务中泛化了模型探索和模型枚举查询，并提出了受SQL启发的高层领域特定语言（DSL）以提高抽象级别并加速建模过程。为了管理数据工件，特别是大量检查点化的浮点参数，我们设计了一种新颖的模型版本系统（dlv），以及一种读优化的参数归档存储系统（PAS），该系统最小化存储占用并加速查询工作负载而不损失准确性。PAS通过使用多分辨率方式下的delta归档版本化模型，单独存储较不重要的位，并具备一种新颖的渐进式查询（推理）评估算法。第三，我们展示了使用delta归档版本化模型带来了新的数据集版本化问题，并且我们开发了高效算法来解决它。我们在来自计算机视觉领域的几个真实数据集上进行了广泛实验，以展示所提出技术的效率。