解决AI模型训练中的内存瓶颈
机器学习
2020-03-20 v1 计算机视觉与模式识别
图像与视频处理
摘要
以医学影像为案例,我们展示了在配备第二代英特尔至强可扩展处理器且具大系统内存的基于x86的服务器上,使用英特尔优化的TensorFlow如何在纵向扩展服务器配置中训练内存密集型AI/深度学习模型。我们相信我们的工作代表了在单节点服务器上首次训练具有大内存占用(~1 TB)的深度神经网络。我们向希望开发大型最先进AI模型但当前受限于内存的科学家和研究人员推荐此配置。
引用
@article{arxiv.2003.08732,
title = {Addressing the Memory Bottleneck in AI Model Training},
author = {David Ojika and Bhavesh Patel and G. Anthony Reina and Trent Boyer and Chad Martin and Prashant Shah},
journal= {arXiv preprint arXiv:2003.08732},
year = {2020}
}
备注
Presented at Workshop on MLOps Systems at MLSys 2020 Conference, Austin TX