定位 DNN 训练的内存行为
性能
2021-04-02 v1 机器学习
摘要
由于 DNN 加速器的设备内存容量有限，深度神经网络（DNNs）的训练通常耗费大量内存。刻画 DNN 训练的内存行为对于优化设备内存压力至关重要。在本工作中，我们通过插桩运行时系统的内存分配器，定位训练期间 GPU 各设备内存块的内存行为。我们的结果表明，设备内存块的内存访问模式是稳定的且呈迭代式。这些观察结果有助于未来从原始内存访问模式的角度优化内存高效的训练。
引用
@article{arxiv.2104.00258,
title = {Pinpointing the Memory Behaviors of DNN Training},
author = {Jiansong Li and Xiao Dong and Guangli Li and Peng Zhao and Xueying Wang and Xiaobing Chen and Xianzhi Yu and Yongxin Yang and Zihan Jiang and Wei Cao and Lei Liu and Xiaobing Feng},
journal= {arXiv preprint arXiv:2104.00258},
year = {2021}
}
备注
Submitted to ISPASS'21 poster