Ilargi：一个兼容 GPU 的因子化机器学习模型训练框架
机器学习
2025-02-05 v1 分布式、并行与集群计算
摘要
在异构数据源上进行机器学习（ML）训练传统上涉及物化，由于数据移动和复制，这会带来巨大的时间和空间开销。因子化学习通过线性代数（LA）重写利用对异构数据源的直接计算，已成为提高计算效率的可行替代方案。然而，因子化学习在利用现代 LA 友好型硬件（如 GPU）的全部能力方面的适配一直有限，通常需要手动干预以实现算法兼容性。本文介绍了 Ilargi，一个新颖的因子化学习框架，它利用矩阵表示的数据集成（DI）元数据，在 CPU 和 GPU 环境中促进自动因子化，而无需代价高昂的关系连接。Ilargi 集成了一个基于 ML 的成本估计器，根据数据属性、算法复杂度、硬件环境及其交互，智能地在因子化和物化之间进行选择。该策略在 GPU 上实现了高达 8.9 倍的加速，并在批量 ML 训练工作负载中实现了超过 20% 的加速，从而增强了跨不同数据集成场景和硬件平台的 ML 训练的实用性。据我们所知，这项工作是兼容 GPU 的因子化学习方面的首次尝试。
引用
@article{arxiv.2502.01985,
title = {Ilargi: a GPU Compatible Factorized ML Model Training Framework},
author = {Wenbo Sun and Rihan Hai},
journal= {arXiv preprint arXiv:2502.01985},
year = {2025}
}