TCDM 突发访问：超越 1000 FPUs 共享-L1 RVV 集群的带宽瓶颈
硬件体系结构
2025-01-27 v1 分布式、并行与集群计算
摘要
随着计算需求和深度学习应用程序的内存占用的加速，越来越多的核心共享本地 (L1) 多银行存储的集群被用作大规模架构的关键构建模块。当集群的核心数增加时，核心与 L1 存储银行之间的平坦全连接互联成为物理实现瓶颈，需要层次化网络拓扑。然而，层次化的多级集群内网络受到内部争用，尤其对于 SIMD 或向量核心，因其内存访问呈现突发性，可能导致显著的性能降级。我们提出了 TCDM 突发访问架构，通过软件透明的突发事务支持提高与众多紧密耦合到多银行 L1 数据存储的向量核心集群的带宽利用率。在我们的解决方案中，突发管理器将突发请求分派给 L1 存储银行，来自突发响应的多个 32b 单词将在带有参数数据宽度的通道上并行退役。我们在 RISC-V Vector (RVV) 众核集群上验证了我们的设计，评估了不同核心数的益处。通过最小的逻辑面积开销（小于 8%），我们将 16核、256核和 1024-FPU 基准集群（无 TCDM 突发访问）的带宽分别提高了 118%、226% 和 77%。我们实现了达到核心-存储峰值带宽的 80%，显示出极高的带宽利用率，并实现了有效的性能扩展。 implemented in 12-nm FinFET 工艺节点，与序列化访问基准相比，我们的解决方案在真实世界内核基准测试中实现了最高 1.9 倍的能源效率和 2.76 倍的性能。
引用
@article{arxiv.2501.14370,
title = {TCDM Burst Access: Breaking the Bandwidth Barrier in Shared-L1 RVV Clusters Beyond 1000 FPUs},
author = {Diyou Shen and Yichao Zhang and Marco Bertuletti and Luca Benini},
journal= {arXiv preprint arXiv:2501.14370},
year = {2025}
}