纠删码分布式存储系统中数据恢复的网络挑战解决方案：基于Facebook仓库集群的研究

纠删码（如里德-所罗门码）正越来越多地应用于数据中心，以应对可靠存储大量数据的成本。尽管这些码提供了最优的存储效率，但在数据恢复过程中需要非常高的网络和磁盘使用量。本文首先基于对Facebook生产仓库集群的测量，研究了纠删码数据恢复操作对数据中心网络的影响。据我们所知，这是文献中首次出现此类研究。我们的研究表明，在一个存储数PB纠删码数据的集群中，恢复RS编码数据导致网络流量显著增加，每天超过一百太字节。为了解决这个问题，我们提出了一种新的存储码，使用我们最近提出的“Piggybacking”框架，理论上将恢复过程中的网络和磁盘使用量减少了30%，同时保持存储最优并支持任意设计参数。所提出的码在Hadoop分布式文件系统（HDFS）中的实现正在进行中。我们利用仓库集群的测量数据表明，所提出的码每天将减少近五十太字节的跨机架流量。