当路由器、交换机和互联互连进行计算：面向可扩展神经形态 AI 的处理器-互联互连范式

路由、交换以及互联互连网络是实现大规模神经形态计算架构的关键组件。尽管该网络在计算过程中仅扮演支持角色，但对于大规模 AI 工作负载而言，最终决定了整个系统的整体性能，如能耗和速度。本文提出了解决方案，围绕两个根本问题：(a) 现有的路由、交换和互联互连系统中内在的计算范式是什么，如何用于实现处理器-互联互连($\pi^2$) 计算范式？以及 (b) 如何在标准 AI 基准上训练 $\pi^2$ 网络？为解答第一个问题，我们演示了所有用于典型 AI 工作负载的操作都可以映射到延迟、因果性、超时、数据包丢弃和广播操作上，这些操作已在当前数据包交换和数据包路由硬件中实现。我们随后表明，现有的缓冲和流量整形嵌入式算法可通过最小修改来实现 $\pi^2$ 神经元模型和突触操作。为解答第二个问题，我们表明可使用知识蒸馏框架在 $\pi^2$ 架构上训练和跨映射成熟的神经网络拓扑，而无需损失泛化性能。我们的分析表明，$\pi^2$ 网络的有效能源利用率显著高于其他神经形态计算平台；因此，我们相信$\pi^2$ 范式为实现脑规模 AI 推理提供了更可扩展的架构路径。