深度神经网络的内存规划

我们研究了大规模系统背景下深度神经网络推理过程中的内存分配模式。我们观察到，在多线程环境中，由于系统内存分配器中的互斥锁争用，此类内存分配模式会遭受高延迟。这种互斥锁争用导致的延迟在面向用户的服务中产生了不必要的瓶颈。因此，我们提出了一种基于“记忆化”的技术，名为MemoMalloc，用于优化整体延迟，同时仅适度增加峰值内存使用量。具体来说，我们的技术包含一个运行时组件，该组件捕获所有分配并将其与高级源操作唯一关联，以及一个静态分析组件，该组件构建一个高效的分配“计划”。我们在PyTorch深度学习框架中实现了MemoMalloc，并在广泛的深度神经网络架构上评估了内存消耗和执行性能。我们发现，在深度神经网络推理延迟方面，MemoMalloc的性能比最先进的通用内存分配器高出多达40%。