中文

冷存储数据归档:不止于一堆磁带

数据库 2019-04-10 v1 分布式、并行与集群计算

摘要

来自大型科学实验(如地球观测计划、射电天文巡天和高能物理)的大量可用传感器数据与衍生数据,已经超过了全球每年制造的存储硬件总量。为此,冷存储数据归档是科学、数据密集型应用领域现代大数据分析——常被忽视——的先锋。尽管高性能数据分析已受到研究界的广泛关注,但在设计和部署冷存储归档方面日益增长的问题却鲜少受到关注。在本文中,我们通过分析来自三个不同应用领域的四个真实冷存储归档,迈出弥合这一知识鸿沟的第一步。在此过程中,我们强调了(i)将这些归档与传统、性能敏感的数据分析区分开的工作负载特征,(ii)为这些归档构建冷存储系统所涉及的设计权衡,以及(iii)关于向公有云迁移的部署权衡。基于我们的分析,我们讨论了数据管理界需要解决的其他几个重要研究挑战。

关键词

引用

@article{arxiv.1904.04736,
  title  = {Cold Storage Data Archives: More Than Just a Bunch of Tapes},
  author = {Bunjamin Memishi and Raja Appuswamy and Marcus Paradies},
  journal= {arXiv preprint arXiv:1904.04736},
  year   = {2019}
}