精简良品：我们是否应在 Lite-GPU 上构建 AI 集群？
硬件体系结构
2025-04-30 v2 人工智能
分布式、并行与集群计算
摘要
为满足生成式 AI 工作负载日益旺盛的需求，GPU 设计师一直试图将更多计算资源和内存打包进单颗复杂且昂贵的封装器中。然而，随着最新技术的不断提升，单颗 GPU 的可扩展性存在日益明显的不确定性，进而影响 AI 集群的规模化。事实上，当前领先的 GPU 已经显示出封装、产量和散热方面的局限。我们提出，通过高带宽和高效的通信，重新构想 AI 集群的设计与规模化方案，利用大规模 Lite-GPU 集群进行高效连接。Lite-GPU 指单颗小型晶圆且功能远不如大型 GPU 的 GPU。我们认为，近期在共包装光学方面的进展，可以实现将 AI 工作负载分布到众多 Lite-GPU 上的可能。本文阐述了 Lite-GPU 在制造成本、容量、产量和功率效率方面的关键优势；并讨论了围绕资源、工作负载、内存和网络管理的系统机遇与挑战。
引用
@article{arxiv.2501.10187,
title = {Good things come in small packages: Should we build AI clusters with Lite-GPUs?},
author = {Burcu Canakci and Junyi Liu and Xingbo Wu and Nathanaël Cheriere and Paolo Costa and Sergey Legtchenko and Dushyanth Narayanan and Ant Rowstron},
journal= {arXiv preprint arXiv:2501.10187},
year = {2025}
}
备注
HotOS'25