中文

MDLdroid:面向个人移动感知的移动端深度学习的 ChainSGD-reduce 方法

机器学习 2020-02-18 v2 网络与互联网体系结构 机器学习

摘要

个人移动感知正迅速渗透我们的日常生活,以实现活动监测、医疗与健康康复。结合深度学习,这些应用近年来取得了显著成功。不同于传统的基于云的范式,在设备上运行深度学习具有若干优势,包括数据隐私保护以及对模型推理与更新的低延迟响应。由于现实中数据收集成本高昂,Google 的联邦学习不仅提供完全的数据隐私,还基于多用户数据获得更好的模型鲁棒性。然而,个人移动感知应用大多具有用户特异性并深受环境影响。因此,持续的本地变化可能严重影响联邦学习生成的全局模型性能。此外,在本地服务器(如边缘服务器)上部署联邦学习可能因资源受限及遭受攻击时的严重故障而迅速达到瓶颈。为推动深度学习在设备端的部署,我们提出 MDLdroid,一种新颖的去中心化移动深度学习框架,以实现面向个人移动感知应用的资源感知设备端协同学习。为解决资源限制,我们提出 ChainSGD-reduce 方法,其包含一种新颖的链式定向同步随机梯度下降算法,以有效降低多设备间的开销。我们还设计了一种基于智能体的多目标强化学习机制,以公平且高效的方式平衡资源。我们的评估表明,在现成移动设备上的模型训练比单设备训练快 2 至 3.5 倍,比主从式方法快 1.5 倍。

关键词

引用

@article{arxiv.2002.02897,
  title  = {MDLdroid: a ChainSGD-reduce Approach to Mobile Deep Learning for Personal Mobile Sensing},
  author = {Yu Zhang and Tao Gu and Xi Zhang},
  journal= {arXiv preprint arXiv:2002.02897},
  year   = {2020}
}

备注

Published in the International Conference on Information Processing in Sensor Networks (IPSN), 2020