机器学习三个时代的算力趋势
机器学习
2023-11-21 v2 人工智能
计算机与社会
摘要
算力、数据与算法进步是指导现代机器学习（ML）发展的三个基本因素。在本文中，我们研究最易于量化的因素——算力的趋势。我们表明，在 2010 年之前，训练算力与摩尔定律同步增长，大约每 20 个月翻一番。自 2010 年代初深度学习出现以来，训练算力的扩展加速，大约每 6 个月翻一番。2015 年末，随着各公司开发出训练算力需求大 10 至 100 倍的大规模 ML 模型，一种新的趋势出现。基于这些观察，我们将 ML 中算力的历史划分为三个时代：前深度学习时代、深度学习时代和大规模时代。总体而言，我们的工作凸显了训练先进 ML 系统所需算力的快速增长。
引用
@article{arxiv.2202.05924,
title = {Compute Trends Across Three Eras of Machine Learning},
author = {Jaime Sevilla and Lennart Heim and Anson Ho and Tamay Besiroglu and Marius Hobbhahn and Pablo Villalobos},
journal= {arXiv preprint arXiv:2202.05924},
year = {2023}
}