分布式文件系统的容错性与可扩展性评估：以 GFS、HDFS 和 MinIO 为例
分布式、并行与集群计算
2025-03-04 v2 新兴技术
性能
软件工程
摘要
分布式文件系统（Distributed File Systems, DFS）对于跨多台服务器管理海量数据集至关重要，在可扩展性、容错性和数据可访问性方面具有优势。本文对三种主流的 DFS——Google 文件系统（GFS）、Hadoop 分布式文件系统（HDFS）和 MinIO——进行了全面评估，重点关注它们在不同数据负载和客户端需求下的容错机制和可扩展性。通过详细分析，评估了这些系统如何处理数据冗余、服务器故障和客户端访问协议，以确保在动态、大规模环境中的可靠性。此外，还评估了系统设计对性能的影响，特别是在分布式云计算架构中。通过比较每种 DFS 的优势和局限性，本文为根据不同的企业需求（从高可用性存储到大数据分析）选择最合适的系统提供了实用见解。
引用
@article{arxiv.2502.01981,
title = {Evaluating Fault Tolerance and Scalability in Distributed File Systems: A Case Study of GFS, HDFS, and MinIO},
author = {Shubham Malhotra and Fnu Yashu and Muhammad Saqib and Dipkumar Mehta and Jagdish Jangid and Sachin Dixit},
journal= {arXiv preprint arXiv:2502.01981},
year = {2025}
}
备注
9 pages, 3 figures, 3 tables