LLM 扩展是否会遭遇瓶颈？通过大规模边缘设备的分布式资源突破壁垒
分布式、并行与集群计算
2026-04-10 v3
摘要
基础模型的显著成功得益于扩展定律，表明模型性能随训练数据和模型规模的增加而可预测地提升。然而，这一扩展轨迹面临两个关键挑战：高质量公共数据的枯竭，以及更大模型所需的 prohibitive 计算能力已被科技巨头垄断。这两个瓶颈对 AI 的进一步发展构成了重大障碍。在本立场论文中，我们论证了利用大规模分布式边缘设备可以突破这些壁垒。我们揭示了大规模边缘设备上数据和计算资源的巨大未开发潜力，并回顾了使这一新范式可行的分布式/联邦学习方面的最新技术进展。我们的分析表明，通过在边缘设备上协作，每个人都可以参与使用小型边缘设备训练大语言模型。这种转向边缘设备分布式训练的范式转变有望使 AI 开发民主化，并培育一个更具包容性的 AI 社区。
引用
@article{arxiv.2503.08223,
title = {Will LLMs Scaling Hit the Wall? Breaking Barriers via Distributed Resources on Massive Edge Devices},
author = {Tao Shen and Didi Zhu and Ziyu Zhao and Zexi Li and Chao Wu and Fei Wu},
journal= {arXiv preprint arXiv:2503.08223},
year = {2026}
}