CurvaDion：曲率自适应分布式正交化
机器学习
2025-12-17 v1 人工智能
摘要
随着语言模型扩展至数万亿参数，跨多GPU的分布式训练变得至关重要，但通过高带宽、低延迟网络进行梯度同步仍然是关键瓶颈。尽管像Dion这样的近期方法通过低秩更新减少了每步通信，但它们无论优化景观如何都在每一步进行同步。我们观察到，同步需求在整个训练过程中差异显著：工作者在平坦区域自然计算出相似的梯度，使频繁同步变得冗余，而高曲率区域需要协调以防止发散。我们提出了CurvaDion，它使用相对最大动量变化（RMMC）来检测需要同步的高曲率区域。RMMC利用优化过程中已计算的动量动力学作为方向曲率的可计算代理，每层仅增加O(d)次操作。我们建立了RMMC与损失曲率之间的理论联系，并证明CurvaDion在160M至13亿参数模型上实现了99%的通信减少，同时保持了基线收敛水平。
引用
@article{arxiv.2512.13728,
title = {CurvaDion: Curvature-Adaptive Distributed Orthonormalization},
author = {Bhavesh Kumar and Roger Jin and Jeffrey Quesnelle},
journal= {arXiv preprint arXiv:2512.13728},
year = {2025}
}
备注
Nous Research