掩码编码稀疏化：在通信高效分层学习中缓解偏置梯度
机器学习
2025-09-11 v3 分布式、并行与集群计算
摘要
本文提出一种新型框架，以实现分层学习场景中较高的压缩比率，其中涉及大规模模型训练的资源受限设备。我们的调查表明，在分层学习中压缩特征图会导致偏置梯度，从而影响收敛速度并削弱所得模型的泛化能力。我们的理论分析提供了有关压缩误差如何严重阻碍分层学习性能的见解，而以往方法则低估了这一影响。为了应对这些挑战，我们采用窄比特宽度编码掩码来补偿稀疏化误差，而不增加时间复杂度的数量级。支持我们框架的严格理论分析表明，我们显著减少了压缩误差并加速了收敛。大量实验也验证了我们的方法在训练效率和通信复杂度方面优于现有解决方案。
引用
@article{arxiv.2408.13787,
title = {Mask-Encoded Sparsification: Mitigating Biased Gradients in Communication-Efficient Split Learning},
author = {Wenxuan Zhou and Zhihao Qu and Shen-Huan Lyu and Miao Cai and Baoliu Ye},
journal= {arXiv preprint arXiv:2408.13787},
year = {2025}
}