一种兼容 All-Reduce 的 Top-K 压缩器：用于分布式学习的通信高效压缩

在大规模分布式机器学习中，通信仍是核心瓶颈，梯度稀疏化已成为缓解此挑战的有前景策略。然而，现有梯度压缩器面临显著局限：Rand-$K$ 丢弃结构信息，实际效果不佳；而 Top-$K$ 保留信息丰富的条目，但失去收敛属性，需进行高成本的 All-Gather 操作。本文提出 ARC-Top-$K$，一种兼容 All-Reduce 的 Top-$K$ 压缩器，通过对梯度进行轻量级草图，实现跨节点稀疏模式对齐，无需索引即可完成 All-Reduce，同时保留全局关键信息。ARC-Top-$K$ 在理论上具有收敛性，结合动量误差反馈 (EF21M) 可实现线性加速，收敛率优于原始 EF21M。实验表明，ARC-Top-$K$ 在保持 Top-$K$ 精度的同时，将墙钟训练时间缩短最高可达 60.7%，提供一种兼具 Rand-$K$ 鲁棒性与 Top-$K$ 强性能的高效可扩展解决方案。