面向无共享存储系统的鲁棒容错可扩展集群级去重

去重技术已广泛应用于分布式存储系统以提高空间效率。传统的去重研究忽略了无共享分布式存储系统的设计规范，如无中心元数据瓶颈、可扩展性和存储重平衡。此外，去重引入了事务性变更，在系统故障时容易出错，导致数据和去重元数据的不一致。在本文中，我们提出了一种鲁棒、容错且可扩展的集群级去重方法，能够消除整个集群中的重复副本。我们设计了一种分布式去重元数据分片，在保持无共享存储系统设计约束的同时保证了性能可扩展性。数据块和去重元数据的放置基于数据块的内容指纹在整个集群范围内进行。为确保事务一致性和垃圾识别，我们采用了一种基于标志的异步一致性机制。我们在 Ceph 上实现了所提出的去重方法。评估结果表明，该方法在实现高磁盘空间节省和最小性能下降的同时，在突发服务器故障事件中表现出高度的鲁棒性。