STANNIS:利用计算存储实现深度神经网络训练的低功耗加速
分布式、并行与集群计算
2020-10-14 v2 机器学习
摘要
本文提出一种在计算存储设备集群上进行分布式、存储内神经网络训练的框架。此类设备不仅包含硬件加速器,还消除了主机与存储之间的数据移动,从而同时提升性能并节省功耗。更重要的是,这种存储内处理的训练方式确保私有数据永不离开存储,同时完全控制公共数据的共享。实验结果显示最高 2.7 倍加速、能耗降低 69%,且精度无显著损失。
引用
@article{arxiv.2002.07215,
title = {STANNIS: Low-Power Acceleration of Deep Neural Network Training Using Computational Storage},
author = {Ali HeydariGorji and Mahdi Torabzadehkashi and Siavash Rezaei and Hossein Bobarshad and Vladimir Alves and Pai H. Chou},
journal= {arXiv preprint arXiv:2002.07215},
year = {2020}
}