基于数据热度估计的LHCb磁盘存储管理
分布式、并行与集群计算
2016-01-20 v1 机器学习
数据分析、统计与概率
摘要
本文提出一种为优化LHCb数据存储提供建议的算法。LHCb数据存储系统是一个混合系统。所有数据集作为档案保存在磁带上。最热门的数据集保存在磁盘上。该算法利用数据集使用历史和元数据（大小、类型、配置等）生成建议报告。本文介绍了我们如何使用机器学习算法预测未来的数据热度。利用这些预测可以估计应从磁盘移除哪些数据集。我们使用回归算法和时间序列分析来寻找保存在磁盘上的数据集的最优副本数。基于数据热度和副本数优化，该算法最小化损失函数以找到最优数据分布。损失函数代表了数据存储系统中数据分布的所有要求。我们展示了我们的算法如何帮助节省磁盘空间并减少使用这些数据的作业等待时间。
引用
@article{arxiv.1510.00132,
title = {Disk storage management for LHCb based on Data Popularity estimator},
author = {Mikhail Hushchyn and Philippe Charpentier and Andrey Ustyuzhanin},
journal= {arXiv preprint arXiv:1510.00132},
year = {2016}
}