利用机器学习技术估计HPC应用中数据划分的块大小
分布式、并行与集群计算
2024-02-02 v2 人工智能
摘要
运行数据密集型应用对HPC基础设施与框架的广泛使用，引发了人们对数据划分技术与策略的日益增长兴趣。事实上，应用性能会深受数据划分方式的影响，而划分方式又取决于所选数据块大小（即块大小）。因此，寻找有效的划分方式（即合适的块大小）是加速并行数据密集型应用并提升可扩展性的关键策略。本文描述了一种基于监督机器学习技术的块大小估计方法，即BLEST-ML（通过机器学习进行BLock大小ESTimation）。所提方法通过设计面向dislib的实现进行了评估，dislib是一个构建于PyCOMPSs框架之上、高度专注于机器学习算法的分布式计算库。我们考虑来自dislib的不同算法、数据集与基础设施（包括MareNostrum 4超级计算机），通过广泛的实验评估检验了该实现的有效性。所得结果表明BLEST-ML能够高效确定拆分给定数据集的合适方式，从而证明其可应用于实现高性能环境下数据并行应用的高效执行。
引用
@article{arxiv.2211.10819,
title = {Block size estimation for data partitioning in HPC applications using machine learning techniques},
author = {Riccardo Cantini and Fabrizio Marozzo and Alessio Orsino and Domenico Talia and Paolo Trunfio and Rosa M. Badia and Jorge Ejarque and Fernando Vazquez},
journal= {arXiv preprint arXiv:2211.10819},
year = {2024}
}