神经形态存内学习能耗下限的估算
机器学习
2026-03-31 v4 人工智能
硬件体系结构
摘要
神经形态或受神经启发的优化器依赖于局部但并行的参数更新，以解决从二次规划到伊辛机 (Ising machines) 等各类问题。此类优化器的理想实现不仅采用存内计算 (CIM) 范式来解决所谓的“存储墙”问题（即因重复读取内存而耗散的能量），还采用存内学习 (LIM) 范式来解决因以优化所需精度重复写入内存而产生的能量瓶颈（更新墙），以及解决因短期与长期记忆之间重复传输信息而产生的能量瓶颈（巩固墙）。在本文中，我们推导了这种理想神经形态优化器可实现的“每解能耗”指标的理论估计值，其实现方式是通过调制物理存储器的能垒，使存储器更新和存储器巩固的动力学匹配优化或退火动力学。本文提出的分析捕捉了学习的非平衡热力学特性，由此产生的能效估计与模型无关，仅取决于模型更新操作数 (OPS)、以参数数量衡量的模型规模、收敛速度以及解的精度。为了展示我们结果的实际适用性，我们应用该分析来估算大规模人工智能工作负载的每解能耗指标下限。
引用
@article{arxiv.2402.14878,
title = {Estimation of Energy-dissipation Lower-bounds for Neuromorphic Learning-in-memory},
author = {Zihao Chen and Faiek Ahsan and Johannes Leugering and Gert Cauwenberghs and Shantanu Chakrabartty},
journal= {arXiv preprint arXiv:2402.14878},
year = {2026}
}
备注
16 pages, 6 figures