超越人类水平精度：深度学习中的计算挑战
机器学习
2019-09-05 v1
摘要
深度学习（DL）研究通过模型架构改变和规模扩大（更大的数据集与模型、更多计算）带来精度和产品的改进。对于硬件设计而言，预测 DL 模型的变化是困难的。然而，近期先前工作表明，随着数据集规模增长，DL 模型精度与模型大小可预测地增长。本文利用该先前工作，预测将 DL 精度推进至机器学习专家所定义的超越人类水平的前沿目标所需的数据集与模型大小增长。数据集需增长 –，而模型需增长 – 以达到目标精度。我们进一步刻画并预测了大规模训练这些应用的计算需求。我们的刻画揭示了对循环神经网络（RNNs）的 DL 训练挑战的重要细分，这与先前对深度卷积网络的研究形成对比。RNNs 将具有相对中等的计算强度与非常大的内存占用需求。与新兴加速器设计相反，大规模 RNN 训练特征表明需要具有显著更大内存容量与片上缓存的设计。
引用
@article{arxiv.1909.01736,
title = {Beyond Human-Level Accuracy: Computational Challenges in Deep Learning},
author = {Joel Hestness and Newsha Ardalani and Greg Diamos},
journal= {arXiv preprint arXiv:1909.01736},
year = {2019}
}