中文

Sequential Checking:用于横向扩展存储的免重分配数据分布算法

分布式、并行与集群计算 2017-07-05 v1 数据库 数据结构与算法

摘要

使用磁带或光设备作为横向扩展存储是存储海量数据的一种方案。然而,此类设备无法或几乎无法重写数据。因此,使用此类设备的横向扩展存储不能采用标准数据分布算法,因为在服务器配置改变时,它们需要重写数据以在构成横向扩展存储的服务器间迁移。尽管使用可重写设备进行横向扩展存储,但当服务器容量巨大时,服务器构成改变后重写数据也非常困难。本文提出一种称为Sequential Checking的数据分布算法,其可用于由几乎无法重写数据的设备组成的横向扩展存储。Sequential Checking 1) 在服务器配置改变时无需在服务器间移动数据,2) 分配数据,其数量取决于服务器容量,3) 写入数据时选定唯一服务器,以及 4) 读取数据时选定服务器(多数情况下此类服务器极少)并从中找出存储最新数据的唯一服务器。这些基本特性已通过证明和仿真得到确认。在现实条件下,从由256台服务器组成的存储中读取数据平均需访问1.98台服务器。并且通过真实环境评估确认访问时间可接受。Sequential Checking使得选用磁带或光设备或使用大容量服务器的横向扩展存储成为可能。

关键词

引用

@article{arxiv.1707.00904,
  title  = {Sequential Checking: Reallocation-Free Data-Distribution Algorithm for Scale-out Storage},
  author = {Ken-ichiro Ishikawa},
  journal= {arXiv preprint arXiv:1707.00904},
  year   = {2017}
}

备注

9 pages