DMC4ML：机器学习的数据移动复杂度
系统与控制
2023-12-25 v1 机器学习
系统与控制
摘要
当今计算领域最大的需求来自机器学习。本文分析了三种机器学习算法：Transformer、空间卷积和 FFT。该分析在三个方面具有新颖性。首先，它在抽象内存层次结构上衡量内存访问成本，而非传统的时间或空间复杂度。其次，该分析是渐近的，并确定了内存成本的主要来源。最后，结果是符号化的，可用于选择算法参数，例如针对任意维度大小和头数的分组查询注意力中的组大小，以及针对任意图像大小和核大小的批处理卷积中的批大小。
引用
@article{arxiv.2312.14441,
title = {DMC4ML: Data Movement Complexity for Machine Learning},
author = {Chen Ding and Christopher Kanan and Dylan McKellips and Toranosuke Ozawa and Arian Shahmirza and Wesley Smith},
journal= {arXiv preprint arXiv:2312.14441},
year = {2023}
}