SeedFlood：面向大规模LLM去中心化训练的一步实践
机器学习
2026-02-23 v1
摘要
本工作提出一种新的去中心化训练方法-SeedFlood-旨在跨越复杂网络拓扑结构并以最小通信开销实现全局共识。传统的 gossip-based方法因消息通信成本随模型规模增长，同时随网络跳数导致信息衰减，使全局共识效率低下。SeedFlood超越了这些做法，利用零阶更新的 seed 可重构结构，有效地使消息大小趋近于零，将其“洪泛”至网络中的每个客户端。此机制使通信开销可忽略且独立于模型规模，消除了去中心化训练的主要可扩展性瓶颈。因此，SeedFlood使得能够在此前被视为不可实现的规模下进行训练，例如数十个客户机上分布的十亿参数模型。我们在去中心化LLM fine-tuning 实验中证明，SeedFlood在 generalisation performance和通信效率方面 consistently 超过 gossip-based基线，甚至在大规模setting下达到与一阶方法相当的效果。
引用
@article{arxiv.2602.18181,
title = {SeedFlood: A Step Toward Scalable Decentralized Training of LLMs},
author = {Jihun Kim and Namhoon Lee},
journal= {arXiv preprint arXiv:2602.18181},
year = {2026}
}