面向极大规模神经网络的外存训练与基于自适应窗口的调度
机器学习
2020-10-28 v1
摘要
尽管大型神经网络在各种任务中展现出更高性能，但由于 GPU 内存大小限制，训练大型网络十分困难。我们提出一种新颖的外存算法，能够以大于所分配 GPU 内存的规模更快训练极大规模神经网络。在给定内存预算约束下，我们的调度算法根据每个函数的内存使用局部自适应调整内存传输时机，从而改善计算与内存传输之间的重叠。此外，我们将操作系统中常用的虚拟地址技术应用于外存执行的神经网络训练，大幅减少了由频繁内存传输引起的内存碎片量。借助所提算法，我们成功以 1440 批大小训练 ResNet-50，并将训练速度保持在 55%，这比物理内存上限大 7.5 倍。它还大幅优于先前最先进水平，即它以更快执行训练比最先进大 1.55 倍的网络。此外，我们通过实验表明我们的方法对于各类网络也具有可扩展性。
引用
@article{arxiv.2010.14109,
title = {Out-of-core Training for Extremely Large-Scale Neural Networks With Adaptive Window-Based Scheduling},
author = {Akio Hayakawa and Takuya Narihira},
journal= {arXiv preprint arXiv:2010.14109},
year = {2020}
}