基于异步训练的分割学习通信与计算开销削减方法
机器学习
2022-03-10 v1
摘要
分割学习是一种有前景的隐私保护分布式学习方案，其在边缘设备上的计算需求较低，但存在边缘设备与服务器之间通信开销高的缺点。为降低通信开销，本文提出一种基于损失函数的异步训练方案，该方案降低客户端模型更新频率，并仅在选定轮次发送/接收激活值/梯度。为进一步降低通信开销，激活值/梯度在传输前使用 8 位浮点数进行量化。所提通信削减方法的一个附加好处是，由于客户端模型更新次数减少，客户端侧的计算量也随之降低。此外，基于通信削减的分割学习方法其隐私性与传统分割学习几乎相同。在 CIFAR-10 数据集上对 VGG11、VGG13 和 ResNet18 模型的仿真结果表明，在单客户端情形下，当精度下降小于 0.5% 时，通信成本降低 1.64 倍至 106.7 倍，客户端计算量降低 2.86 倍至 32.1 倍。对于 5 客户端和 10 客户端情形，在精度损失 0.5% 时，VGG11 上的通信成本分别降低 11.9 倍和 11.3 倍。
引用
@article{arxiv.2107.09786,
title = {Communication and Computation Reduction for Split Learning using Asynchronous Training},
author = {Xing Chen and Jingtao Li and Chaitali Chakrabarti},
journal= {arXiv preprint arXiv:2107.09786},
year = {2022}
}
备注
Accepted by SIPS '21