衡量神经网络的算法效率
机器学习
2020-05-12 v1 计算机视觉与模式识别
机器学习
摘要
推动 AI 进步的三个因素是：算法创新、数据以及可用于训练的计算量。传统上，算法进展比计算和数据更难量化。在本工作中，我们认为算法进展有一个既易于衡量又有趣的方面：达到过去能力所需的计算量随时间的减少。我们表明，在 2012 年至 2019 年间，在 ImageNet 上训练一个分类器达到 AlexNet 级别性能所需的浮点运算数量减少了 44 倍。这相当于在 7 年期间算法效率每 16 个月翻一番。相比之下，摩尔定律只能产生 11 倍的成本改进。我们观察到，硬件和算法效率的提升是相乘的，并且在有意义的时间跨度内可能处于相似的量级，这表明一个好的 AI 进步模型应该整合两者的衡量指标。
引用
@article{arxiv.2005.04305,
title = {Measuring the Algorithmic Efficiency of Neural Networks},
author = {Danny Hernandez and Tom B. Brown},
journal= {arXiv preprint arXiv:2005.04305},
year = {2020}
}
备注
20 pages, 5 figures