STSyn：通过容忍掉队者的同步加速本地 SGD

同步本地随机梯度下降（本地 SGD）由于等待各 worker 完成相同数量的本地更新，会受限于部分 worker 空闲以及由慢速和掉队 worker 引起的随机延迟。本文为缓解掉队者问题并提升通信效率，提出了一种名为 STSyn 的新型本地 SGD 策略。其关键在于每轮同步时等待 $K$ 个最快的 worker，同时保持所有 worker 持续计算，并充分利用每个 worker 的任何有效（已完成）本地更新而不论掉队者。我们分析了每轮的平均挂钟时间、平均本地更新次数和平均上传 worker 数，以衡量 STSyn 的性能。即便目标函数非凸，我们也严格建立了 STSyn 的收敛性。实验结果表明，通过利用容忍掉队者技术以及各 worker 额外的有效本地更新，所提 STSyn 优于最先进的方案，并研究了系统参数的影响。通过等待更快的 worker 并允许跨 worker 不同本地更新次数的异构同步，STSyn 在时间和通信效率上均带来显著提升。