HopsFS：利用 NewSQL 数据库扩展分层文件系统元数据
分布式、并行与集群计算
2017-02-23 v2
摘要
无共享、事务性、内存型 NewSQL 数据库在性能和可扩展性方面的最新进展，重新开启了一个研究问题：分层文件系统的分布式元数据能否使用通用数据库进行管理。本文介绍了 HopsFS，它是 Hadoop 分布式文件系统 (HDFS) 的下一代发行版，用基于 NewSQL 数据库构建的分布式元数据服务取代了 HDFS 的单节点内存元数据服务。通过消除元数据瓶颈，HopsFS 能够支持比 HDFS 大一个数量级且吞吐量更高的集群。元数据容量已提升至 HDFS 容量的至少 37 倍，在基于 Spotify 工作负载轨迹的实验中，我们证明 HopsFS 支持的吞吐量是 Apache HDFS 的 16 到 37 倍。HopsFS 在大量并发客户端下还具有更低的延迟，并且在故障切换期间无停机时间。最后，由于元数据现在存储在通用数据库中，因此可以安全地进行扩展，并轻松导出到外部系统以进行在线分析和自由文本搜索。
引用
@article{arxiv.1606.01588,
title = {HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases},
author = {Salman Niazi and Mahmoud Ismail and Steffen Grohsschmiedt and Mikael Ronström and Seif Haridi and Jim Dowling},
journal= {arXiv preprint arXiv:1606.01588},
year = {2017}
}