GeoPipe：面向无损RDMA-enabled数据中心光传输网络中的地理分布式LLM训练框架及增强管道并行
网络与互联网体系结构
2026-02-27 v1
摘要
大语言模型（LLM）参数呈指数级增长，使得跨数据中心（DC）训练成为必然趋势。然而，将单DC训练框架扩展至多DC环境的可行策略仍不成熟。我们首次在由无损、远程直接内存存取（RDMA）支持的数据中心光传输网络（DC-OTN）互连的多个DC之间，实验性地展示了一种高性能的地理分布式LLM训练框架。该框架在华为Ascend全栈环境中实现了增强管道并行方案，有效消除了跨DC通信开销对训练效率的影响。通过重叠计算与跨DC通信，受限于跨DC带宽和高带宽内存（HBM），将计算气泡比率降低至最高78.91%。
引用
@article{arxiv.2510.12064,
title = {GeoPipe: a Geo-distributed LLM Training Framework with enhanced Pipeline Parallelism in a Lossless RDMA-enabled Datacenter Optical Transport Network},
author = {Jun Dai and Xiaorun Wang and Kexiong Fang and Zheng Yang and Yuefeng Ji and Jiawei Zhang},
journal= {arXiv preprint arXiv:2510.12064},
year = {2026}
}
备注
6 pages, 4 figures