深度部分更新:面向设备端推理的通信高效更新
机器学习
2022-07-28 v3 机器学习
摘要
新兴的边缘智能应用要求服务器重新训练并更新部署在远程边缘节点上的深度神经网络,以利用新收集的数据样本。遗憾的是,由于高度受限的通信资源,在实践中持续向这些边缘节点发送完全更新的权重可能是不可能的。本文提出权重级深度部分更新范式,其在每一轮服务器到边缘的通信中智能地选择一小部分权重进行更新,同时取得与完全更新相近的性能。我们的方法通过分析部分更新与完全更新之间损失差异的上界建立,仅更新那些对上界贡献最大的权重。大量实验结果证明了我们部分更新方法的有效性,其在更新极少数量权重的同时实现了高推理精度。
引用
@article{arxiv.2007.03071,
title = {Deep Partial Updating: Towards Communication Efficient Updating for On-device Inference},
author = {Zhongnan Qu and Cong Liu and Lothar Thiele},
journal= {arXiv preprint arXiv:2007.03071},
year = {2022}
}
备注
Published in ECCV 2022