PCCL：面向分布式机器学习的光子电路开关集体通信
分布式、并行与集群计算
2025-09-22 v1
摘要
现代分布式机器学习因实际 GPU 集群中的拥堵和跳数引起的扩张，存在理论与实际性能之间的根本性差距。我们提出的 PCCL（Photonic Collective Communication Library）通过重新配置网络拓扑以匹配集体算法的通信模式，从而消除拥堵和扩张，创建连接通信 GPU 之间的直接、无争抢的电路。不同于针对特定网络拓扑和集体操作合成算法的先前方法，PCCL 对任何集体原始操作和任何拓扑结构均通用，通过适应每个算法的通信模式来调整网络。PCCL 的关键创新在于其面向硬件中立的优化框架，智能决策何时重新配置基于网络重新配置延迟与拥堵/扩张成本之间的权衡，使其在不同光学硬件（具有不同切换速度）下均具实用性。我们的评估表明，PCCL 在 128 个 GPU 上实现了多达 3 倍的速度提升，适用于各种工作负载、缓冲区大小和拓扑结构，最终实现了端到端训练吞吐量提升 1.3 倍。
引用
@article{arxiv.2509.15450,
title = {PCCL: Photonic circuit-switched collective communication for distributed ML},
author = {Abhishek Vijaya Kumar and Arjun Devraj and Rachee Singh},
journal= {arXiv preprint arXiv:2509.15450},
year = {2025}
}