通过自动格式选择与机器学习优化稀疏线性代数
机器学习
2023-03-10 v1 分布式、并行与集群计算
数值分析
性能
数值分析
摘要
稀疏矩阵是科学模拟的组成部分。随着硬件演进，新的稀疏矩阵存储格式被提出，旨在利用针对新硬件的特定优化。在异构计算时代，用户常需为其应用使用多种格式以在不同可用硬件上保持最优，导致更长的开发时间与维护开销。该问题的一种潜在解决方案是使用由机器学习（ML）驱动的轻量级自动调优器，它为用户从可用格式池中选择与稀疏模式特征、目标硬件及待执行操作相匹配的最优格式。本文中，我们介绍 Morpheus-Oracle，一个提供轻量级 ML 自动调优器的库，能够准确预测跨多种后端的最优格式，面向主流 HPC 架构，旨在消除最终用户的任何格式选择输入。基于超过 2000 个真实矩阵，我们在可用系统上分别取得了 92.63% 的平均分类准确率与 80.22% 的平均平衡准确率。采用该自动调优器在 CPU 上实现平均 1.1 倍加速，在 NVIDIA 与 AMD GPU 上实现 1.5 倍至 8 倍加速，最大加速分别达 7 倍与 1000 倍。
引用
@article{arxiv.2303.05098,
title = {Optimizing Sparse Linear Algebra Through Automatic Format Selection and Machine Learning},
author = {Christodoulos Stylianou and Michele Weiland},
journal= {arXiv preprint arXiv:2303.05098},
year = {2023}
}