加速神经网络训练：简要综述
机器学习
2023-12-29 v2
摘要
训练深度神经网络的过程具有显著的时间需求与相关成本。尽管研究人员在该领域取得了相当大的进展，但由于资源限制，仍需进一步研究。本研究探讨了加速深度神经网络（DNN）训练过程的创新方法，特别关注了三种最先进的模型，如 ResNet50、Vision Transformer (ViT) 和 EfficientNet。该研究采用了复杂的方法论，包括梯度累积（GA）、自动混合精度（AMP）和锁页内存（PM），以优化性能并加速训练过程。本研究考察了这些方法论对前述 DNN 模型的影响，评估了它们在训练速率和计算效率方面的有效性。研究表明，将 GA 作为一种策略方法是有效的，能显著减少训练所需的时间。这使得模型能够以更快的速度收敛。利用 AMP 通过发挥低精度计算的优势来提高计算速度，同时保持模型的正确性。此外，本研究还探讨了应用锁页内存作为增强中央处理器与图形处理器之间数据传输效率的策略，从而为提升整体性能提供了有前景的途径。实验结果表明，这些复杂方法论的组合显著加速了 DNN 的训练，为寻求提高深度学习过程有效性的专家提供了重要见解。
引用
@article{arxiv.2312.10024,
title = {Accelerating Neural Network Training: A Brief Review},
author = {Sahil Nokhwal and Priyanka Chilakalapudi and Preeti Donekal and Suman Nokhwal and Saurabh Pahune and Ankit Chaudhary},
journal= {arXiv preprint arXiv:2312.10024},
year = {2023}
}