中文

OrpheusDB:关系数据库的附加版本控制

数据库 2017-03-08 v1

摘要

数据科学团队经常协作分析数据集,在迭代探索和分析的每个阶段生成数据集版本。迫切需要一个能够支持数据集版本控制的系统,使此类团队能够跨数据集版本高效地存储、跟踪和查询。我们介绍了 OrpheusDB,一个将版本控制能力“附加”到传统关系数据库系统上的数据集版本控制系统,从而“免费”获得数据库的分析能力。我们开发并评估了多种用于表示版本化数据的数据模型,以及一种轻量级分区方案 LyreSplit,以进一步优化模型从而降低查询延迟。借助 LyreSplit,OrpheusDB 在寻找有效(且更优)分区方面平均比竞争方法快 1000 倍,同时将版本检索的延迟相对于无分区方案降低了至多 20 倍。LyreSplit 可以以在线方式应用于新版本的添加,同时配合一种智能迁移方案,该方案平均将迁移时间减少 10 倍。

关键词

引用

@article{arxiv.1703.02475,
  title  = {OrpheusDB: Bolt-on Versioning for Relational Databases},
  author = {Silu Huang and Liqi Xu and Jialin Liu and Aaron Elmore and Aditya Parameswaran},
  journal= {arXiv preprint arXiv:1703.02475},
  year   = {2017}
}