基于边缘传播网络的无乘法器稀疏机器学习

新一代机器学习处理器已从多核和并行架构发展而来，这些架构旨在高效实现矩阵-向量乘法（MVMs）。这是因为在基础层面，神经网络和机器学习操作广泛使用 MVM 操作，且硬件编译器利用 MVM 操作中固有的并行性在 GPU 和 FPGA 上实现硬件加速。然而，许多 IoT 和边缘计算平台需要在靠近网络处部署嵌入式 ML 设备，以补偿通信成本和延迟。因此，一个自然的问题是：实现 ML 算法是否真的需要 MVM 操作，以及是否可以使用更简单的硬件原语来实现超高能耗效率的 ML 处理器/架构。在本文中，我们提出了一种 ML 和神经网络架构的替代性软硬件协同设计，其中架构不使用 MVM 操作和非线性激活函数，而仅使用简单加法和阈值操作来实现推理和学习。所提方法的核心是基于边缘传播（MP）的计算，其将乘法映射为加法，将加法映射为动态修正线性单元（ReLU）操作。这种映射显著降低了计算成本，从而降低了能耗。在本文中，我们展示了 MP 网络公式如何应用于设计适用于 IoT 平台和微型 ML 应用的线性分类器、浅层多层感知机和支撑向量网络。我们表明，对于基准 UCI 数据集，这些基于 MP 的分类器与其传统对应方法结果相当，且具有计算复杂度降低从而提升能效的额外优势。