DeepSeek-V3 洞察：扩展挑战与 AI 架构硬件的思考
分布式、并行与集群计算
2025-12-24 v2 人工智能
硬件体系结构
摘要
大语言模型（LLM）的快速扩展暴露了当前硬件架构的关键局限性，包括内存容量、计算效率和互连带宽方面的约束。DeepSeek-V3 在 2,048 块 NVIDIA H800 GPU 上进行训练，展示了硬件感知的模型协同设计如何有效应对这些挑战，实现大规模的高效训练和推理。本文对 DeepSeek-V3/R1 模型架构及其 AI 基础设施进行了深入分析，重点介绍了关键创新，如用于提升内存效率的多头潜在注意力（MLA）、用于优化计算-通信权衡的混合专家架构、用于释放硬件能力全部潜力的 FP8 混合精度训练，以及用于最小化集群级网络开销的多平面网络拓扑。基于 DeepSeek-V3 开发过程中遇到的硬件瓶颈，我们与学术界和工业界同行就未来潜在的硬件方向展开了更广泛的讨论，包括精确的低精度计算单元、纵向与横向扩展的融合，以及低延迟通信架构的创新。这些见解强调了硬件与模型协同设计在满足 AI 工作负载不断增长的需求中的关键作用，为下一代 AI 系统的创新提供了实用蓝图。
引用
@article{arxiv.2505.09343,
title = {Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures},
author = {Chenggang Zhao and Chengqi Deng and Chong Ruan and Damai Dai and Huazuo Gao and Jiashi Li and Liyue Zhang and Panpan Huang and Shangyan Zhou and Shirong Ma and Wenfeng Liang and Ying He and Yuqing Wang and Yuxuan Liu and Y. X. Wei},
journal= {arXiv preprint arXiv:2505.09343},
year = {2025}
}
备注
This is the author's version of the work. It is posted here for your personal use. Not for redistribution. The definitive version appeared as part of the Industry Track in Proceedings of the 52nd Annual International Symposium on Computer Architecture (ISCA '25)