深度神经网络推理的高效内存管理
机器学习
2020-02-18 v3 计算机视觉与模式识别
摘要
尽管深度神经网络推理曾被视为仅限服务器的任务，但近期的技术进展使得推理任务可迁移至移动和嵌入式设备，这出于从延迟到隐私等各种原因的考量。这些设备不仅受限于其计算能力和电池，还受限于其较弱的物理内存与缓存，因此高效的内存管理器成为边缘端深度神经网络推理的关键组件。我们探索了在深度神经网络的中间张量间智能共享内存缓冲区的多种策略。采用这些策略可使内存占用比当前最优方法减少至多11%。
引用
@article{arxiv.2001.03288,
title = {Efficient Memory Management for Deep Neural Net Inference},
author = {Yury Pisarchyk and Juhyun Lee},
journal= {arXiv preprint arXiv:2001.03288},
year = {2020}
}
备注
6 pages, 6 figures, MLSys 2020 Workshop on Resource-Constrained Machine Learning (ReCoML 2020)