基于 3D MOSAICs、幻象与协同设计的下一代概率计算硬件
分布式、并行与集群计算
2024-09-19 v1 硬件体系结构
摘要
21 世纪绝大多数的 AI 工作负载都基于梯度确定的算法，如反向传播。确定性机器学习算法占据主导地位的关键原因之一是强大的硬件加速器（GPU 和 TPU）的出现，这些加速器使得这些算法得以大规模采用和实施。与此同时，离散和概率性的蒙特卡洛算法长期以来一直被认为是整个计算领域中最成功的算法之一，具有广泛的应用。特别是，马尔可夫链蒙特卡洛（MCMC）算法族已成为解决离散组合优化和概率采样问题最广泛使用和有效的方法。我们采用以硬件为中心的观点来看待概率计算，概述了推进该领域发展的挑战和潜在的未来方向。我们确定了两个关键研究领域：使用 MOSAICs（单片/堆叠/组装集成电路）的 3D 集成，以及“幻象”概念——一种与硬件无关的分布式计算框架，旨在扩展概率加速器。
引用
@article{arxiv.2409.11422,
title = {Next-generation Probabilistic Computing Hardware with 3D MOSAICs, Illusion Scale-up, and Co-design},
author = {Tathagata Srimani and Robert Radway and Masoud Mohseni and Kerem Çamsarı and Subhasish Mitra},
journal= {arXiv preprint arXiv:2409.11422},
year = {2024}
}
备注
2 pages, 1 figure