可扩展智能手机集群用于深度学习
机器学习
2021-10-26 v1 分布式、并行与集群计算
摘要
智能手机上的各类深度学习应用迅速增长，但训练深度神经网络（DNNs）的计算负担过大，无法在单台智能手机上执行。一种将智能手机通过无线网络连接并支持并行计算的便携式集群，可作为解决该问题的潜在方案。然而，我们的研究发现，无线通信的局限性将集群规模限制为最多 30 台智能手机。此类小规模集群的计算能力不足以从零训练 DNNs。本文中，我们提出一种可扩展智能手机集群，通过舍弃便携性以提升计算效率，从而实现深度学习训练。该集群使用以太网有线网络将 138 台 Galaxy S10+ 设备连接。我们基于深度学习库 Caffe 实现了 DNNs 的大批量同步训练。在训练 ResNet-50 时，该智能手机集群达到了 P100 速度的 90%；在训练 MobileNet-v1 时，约为 V100 速度的 43 倍加速。
引用
@article{arxiv.2110.12172,
title = {Scalable Smartphone Cluster for Deep Learning},
author = {Byunggook Na and Jaehee Jang and Seongsik Park and Seijoon Kim and Joonoo Kim and Moon Sik Jeong and Kwang Choon Kim and Seon Heo and Yoonsang Kim and Sungroh Yoon},
journal= {arXiv preprint arXiv:2110.12172},
year = {2021}
}
备注
6 pages