在 GPU 上利用 Anderson 外推法加速 AI 性能

Saleem Abdul Fattah Ahmed Al Dajani; David E. Keyes

在 GPU 上利用 Anderson 外推法加速 AI 性能

机器学习 2024-12-20 v2 人工智能数值分析性能数值分析

作者: Saleem Abdul Fattah Ahmed Al Dajani , David E. Keyes

摘要

我们提出了一种利用 Anderson 外推法加速 AI 性能的新方法，这是一种基于历史迭代窗口的向量到向量映射技术。通过识别产生混合惩罚的交叉点（图 1），该方法侧重于减少收敛所需的迭代次数，采用较少但计算更密集且通常可缓存的迭代，从而分别平衡了速度与内存使用、精度与算法稳定性。受高性能计算（HPC）领域的可扩展性和效率扩展的推动，我们展示了在训练和推理两方面的显著改进。

关键词

Anderson 外推法 AI 性能加速 GPU 高性能计算（HPC）迭代收敛

引用

@article{arxiv.2410.19460,
  title  = {Accelerating AI Performance using Anderson Extrapolation on GPUs},
  author = {Saleem Abdul Fattah Ahmed Al Dajani and David E. Keyes},
  journal= {arXiv preprint arXiv:2410.19460},
  year   = {2024}
}

备注

6 pages, 6 figures, 1 table, Accepted by NeurIPS 2024 Workshop MLNCP https://openreview.net/forum?id=wkP2ZFRn9e

在 GPU 上利用 Anderson 外推法加速 AI 性能

摘要

关键词

引用

备注

相关论文