现代化阿姆达尔法则:AI 扩展规律如何塑造计算机体系结构
分布式、并行与集群计算
2026-04-09 v4 人工智能
硬件体系结构
摘要
经典阿姆达尔法则 conceptualized 了固定串行-并行分解和同质复制的可 speedup 限制。现代异构系统需要不同的概念框架:受限资源必须在异构硬件之间分配,而工作负载本身也在变化,其中一些阶段变得实际受限,而其他阶段则继续吸收额外的有效计算。本文围绕这一转变重新表述阿姆达尔法则。我们用分配变量取代处理器数量,用可扩展价值比例取代经典并行比例,并通过专用计算与可编程计算之间的相对效率比来建模专化。 resulting 目标 yield 一个有限的 collapse 阈值。对于效率比 R,存在一个临界可扩展比例 S_c = 1 - 1/R,超出此阈值,针对专化的最优分配为零。等价地,对于给定的可扩展比例 S,justify 专化所需的最小效率比为 R_c = 1/(1-S)。因此,随着可扩展工作负载的增长,过度定制面临更高的门槛。关键点在于一种硬件类别并不简单地取胜另一种,而是体系结构必须在足够可编程的基座上保持对,其边际收益持续扩展。实际中,这一前沿往往由软件和模型驱动的效率翻倍所支撑,而不仅仅是固定功能的重新设计。该模型帮助解释价值生产工作向由 learned 后期计算所驱动的迁移,以及使 GPU 和 AI 加速器更可编程的共享设计压力。
引用
@article{arxiv.2603.20654,
title = {Modernizing Amdahl's Law: How AI Scaling Laws Shape Computer Architecture},
author = {Chien-Ping Lu},
journal= {arXiv preprint arXiv:2603.20654},
year = {2026}
}
备注
Use: 12 pages, 1 table, 5 figures. arXiv version v4