用于机会性加速备份的网络内冗余生成
分布式、并行与集群计算
2015-03-19 v2 信息论
网络与互联网体系结构
math.IT
摘要
纠删码是复制的一种节省存储空间的替代方案，用于在分布式存储系统中实现可靠的数据备份。在存储过程中，传统的纠删码需要一个唯一的源节点来创建所有冗余数据并将其上传至不同的存储节点。然而，此类源节点的通信和计算能力可能有限，从而制约了存储过程的吞吐量。此外，源节点与不同存储节点可能无法同时发送和接收数据——例如，在数据中心环境中节点可能处于忙碌状态，或在点对点环境中干脆处于离线状态——这可能进一步威胁整体存储过程的有效性。在本文中，我们提出了一种“网络内”冗余生成过程，通过允许存储节点在彼此之间交换部分信息来生成新的冗余数据，从而将数据插入负载分摊至源节点和存储节点上，提高了存储过程的吞吐量。该过程异步执行，利用了存储节点的空闲带宽和计算资源。所提出的方法利用了为满足分布式存储系统需求而量身定制的新型纠删码的局部可修复性。我们解析地表明，该技术的性能依赖于对空闲节点资源的有效利用，并推导出一组调度算法以最大化该利用率。我们通过实验表明，使用来自真实点对点应用的可用性轨迹以及 Google 数据中心的可用性和工作负载轨迹，我们的算法能够根据环境特征，相较于经典的朴素数据插入方法，显著提高存储过程的吞吐量（在数据中心中高达 90%，在点对点环境中高达 60%）。
引用
@article{arxiv.1111.4533,
title = {In-Network Redundancy Generation for Opportunistic Speedup of Backup},
author = {Lluis Pamies-Juarez and Anwitaman Datta and Frédérique Oggier},
journal= {arXiv preprint arXiv:1111.4533},
year = {2015}
}