AdaptCL：基于动态自适应剪枝的高效协作学习
机器学习
2021-06-29 v1 分布式、并行与集群计算
摘要
在多方可控协作学习中，参数服务器将全局模型发送给每个数据持有者进行本地训练，然后在全局聚合提交的模型以实现隐私保护。然而，同步协作学习的拖沓问题以及异步协作学习的陈旧问题，使得协作学习在现实异构环境中效率低下。我们提出了一种新颖高效的协作学习框架 AdaptCL，它从全局基模型为每个数据持有者动态生成自适应子模型，无需任何关于工作者能力的先验信息。所有工作者（数据持有者）通过配备能力自适应的剪枝模型，实现与最快工作者近似相同的更新时间。因此训练过程可大幅加速。此外，我们为 AdaptCL 量身定制了高效的剪枝率学习算法和剪枝方法。同时，AdaptCL 提供了一种处理精度与时空开销之间权衡的机制，并可与其他技术结合以进一步加速训练。实证结果表明，AdaptCL 引入了极少的计算和通信开销。AdaptCL 平均节省 41% 以上的时间，并在低异构环境下提高了精度。在高异构环境中，AdaptCL 实现了 6.2 倍的训练加速，且精度损失轻微。
引用
@article{arxiv.2106.14126,
title = {AdaptCL: Efficient Collaborative Learning with Dynamic and Adaptive Pruning},
author = {Guangmeng Zhou and Ke Xu and Qi Li and Yang Liu and Yi Zhao},
journal= {arXiv preprint arXiv:2106.14126},
year = {2021}
}