使用模拟存内计算进行核近似
机器学习
2024-11-07 v1 硬件体系结构
摘要
核函数是多种机器学习算法的关键组成部分，但往往带来显著的内存和计算开销。我们提出了一种适用于混合信号模拟存内计算（AIMC）架构的机器学习算法核近似方法。模拟存内核近似通过直接在内存中执行近似核方法的大部分运算，解决了传统基于核方法的性能瓶颈。我们利用 IBM HERMES Project Chip（一款基于相变存储器的先进 AIMC 芯片）进行了核近似的硬件演示。实验结果表明，我们的方法保持了高准确率，在基于核的岭分类基准测试中准确率下降不到 1%，在 Transformer 神经网络核化注意力机制的 Long Range Arena 基准测试中准确率偏差在 1% 以内。与传统的数字加速器相比，估计我们的方法能提供更优的能效和更低的功耗。这些发现凸显了异构 AIMC 架构在提升机器学习应用效率和可扩展性方面的潜力。
引用
@article{arxiv.2411.03375,
title = {Kernel Approximation using Analog In-Memory Computing},
author = {Julian Büchel and Giacomo Camposampiero and Athanasios Vasilopoulos and Corey Lammie and Manuel Le Gallo and Abbas Rahimi and Abu Sebastian},
journal= {arXiv preprint arXiv:2411.03375},
year = {2024}
}