基于流式降维的内存高效训练
机器学习
2020-04-28 v1 机器学习
摘要
在深度神经网络训练过程中大量数据的搬移给机器学习工作负载带来了巨大挑战。为最小化此开销，尤其在梯度信息的搬移与计算上，我们引入了流式批量主成分分析作为更新算法。流式批量主成分分析使用随机幂迭代生成网络梯度的随机 k 秩近似。我们证明，流式批量主成分分析产生的低秩更新可有效在多种常见数据集上训练卷积神经网络，性能可与标准小批量梯度下降相媲美。这些结果可同时改进面向深度学习的专用集成电路设计，以及使用数据并行训练的机器学习模型的同步速度。
引用
@article{arxiv.2004.12041,
title = {Memory-efficient training with streaming dimensionality reduction},
author = {Siyuan Huang and Brian D. Hoskins and Matthew W. Daniels and Mark D. Stiles and Gina C. Adam},
journal= {arXiv preprint arXiv:2004.12041},
year = {2020}
}