中文

HashTag 擦除码:从理论到实践

信息论 2020-02-14 v4 分布式、并行与集群计算 math.IT

摘要

最小存储再生(MSR)码已成为 Reed-Solomon (RS) 码的可行替代方案,因为它们在可靠性和存储开销方面仍保持最优的同时,最小化了修复带宽。尽管存在多种 MSR 构造,但迄今为止它们尚未在实践中实现,主要原因是 I/O 操作数量庞大。在本文中,我们分析了在系统节点发生单节点和多节点故障时,在存储、可靠性、I/O 操作和修复带宽方面同时优化的高速率 MDS 码。这些码在 \cite{7463553} 中被引入时没有特定名称。由于标签符号 \# 与码构造过程的相似性,我们在本文中将其称为 HashTag 擦除码(HTECs)。在包括 MSR 码在内的所有用于分布式存储的现有 MDS 码中,对于任意子分组级别 α\alpha(其中 αr\sfrackr\alpha \leq r^{\lceil \sfrac{k}{r} \rceil}),HTECs 提供了最低的数据读取和数据传输,从而实现了最低的修复时间。其修复过程是线性的且高度并行。此外,我们表明 HTECs 是首批在多于一次故障时降低修复带宽的高速 MDS 码。在 Hadoop 3.0.0-alpha2 版本中 HTECs 的实际实现展示了其巨大潜力。

关键词

引用

@article{arxiv.1609.02450,
  title  = {HashTag Erasure Codes: From Theory to Practice},
  author = {Katina Kralevska and Danilo Gligoroski and Rune E. Jensen and Harald Øverby},
  journal= {arXiv preprint arXiv:1609.02450},
  year   = {2020}
}

备注

Submitted to IEEE Transactions on Big Data