HashTag 擦除码:从理论到实践
信息论
2020-02-14 v4 分布式、并行与集群计算
math.IT
摘要
最小存储再生(MSR)码已成为 Reed-Solomon (RS) 码的可行替代方案,因为它们在可靠性和存储开销方面仍保持最优的同时,最小化了修复带宽。尽管存在多种 MSR 构造,但迄今为止它们尚未在实践中实现,主要原因是 I/O 操作数量庞大。在本文中,我们分析了在系统节点发生单节点和多节点故障时,在存储、可靠性、I/O 操作和修复带宽方面同时优化的高速率 MDS 码。这些码在 \cite{7463553} 中被引入时没有特定名称。由于标签符号 \# 与码构造过程的相似性,我们在本文中将其称为 HashTag 擦除码(HTECs)。在包括 MSR 码在内的所有用于分布式存储的现有 MDS 码中,对于任意子分组级别 (其中 ),HTECs 提供了最低的数据读取和数据传输,从而实现了最低的修复时间。其修复过程是线性的且高度并行。此外,我们表明 HTECs 是首批在多于一次故障时降低修复带宽的高速 MDS 码。在 Hadoop 3.0.0-alpha2 版本中 HTECs 的实际实现展示了其巨大潜力。
引用
@article{arxiv.1609.02450,
title = {HashTag Erasure Codes: From Theory to Practice},
author = {Katina Kralevska and Danilo Gligoroski and Rune E. Jensen and Harald Øverby},
journal= {arXiv preprint arXiv:1609.02450},
year = {2020}
}
备注
Submitted to IEEE Transactions on Big Data