利用 Robinhood 策略引擎重新掌控 HPC 文件系统
分布式、并行与集群计算
2015-05-07 v1 操作系统
摘要
如今，最大的 Lustre 文件系统存储数十亿条目。在此类系统上，基于命名空间扫描的经典工具变得不可用。诸如管理文件生命周期、调度数据副本以及生成整体文件系统统计等操作变得痛苦，因为它们需要为数十亿记录收集、排序和聚合信息。Robinhood Policy Engine 是为应对这些挑战而开发的开源软件。它使得能够对海量文件系统条目调度自动操作。它还通过提供关于数据所有权、年龄和大小轮廓的整体统计，给出对文件系统内容的综合性理解。即使它可用于任何 POSIX 文件系统，Robinhood 支持 Lustre 特定功能如 OSTs、pools、HSM、ChangeLogs 和 DNE。它实现了对这些功能的特定支持，并利用它们高效管理 Lustre 文件系统。
引用
@article{arxiv.1505.01448,
title = {Taking back control of HPC file systems with Robinhood Policy Engine},
author = {Thomas Leibovici},
journal= {arXiv preprint arXiv:1505.01448},
year = {2015}
}
备注
International Workshop on the Lustre Ecosystem: Challenges and Opportunities, March 2015, Annapolis MD