面向类神经系统的模拟非理想模运算数：物理建模方法
机器学习
2025-03-24 v2
摘要
大规模深度学习模型受限于巨大的能源消耗，这限制了其可扩展性和面向边缘智能的适用性。存储器内计算（IMC）提供了一种有前景的解决方案，通过解决传统深度学习加速器中固有的 von Neumann 瓶颈，显著降低能源消耗。然而，IMC 的模拟性质引入了硬件非理想因素，这会降低模型性能和可靠性。本文提出了一种新方法，用于直接训练 IMC 的物理模型，公式化为基于常微分方程（ODE）的物理神经网络（PNNs）。为实现大规模网络训练，我们提出了一种称为可微分尖峰时间离散化（DSTD）的技术，使 ODE 基于 PNNs 的计算速度提高最高可达 20 倍，内存使用降低最高可达 100 倍。我们演示了，利用 exploits 硬件非理想因素，大规模网络在 CIFAR-10 数据集上提高学习性能。该提出的自下而上的方法通过使用 sky130 工艺的非理想特性进行后布局 SPICE 仿真验证了 IMC 电路。该提出的 PNN 方法至少将模型行为与电路动力学之间的差距降低了一个数量级。这项工作为利用非理想物理器件（如非易失性存储器）进行能源效率深入学习应用奠定了基础。
引用
@article{arxiv.2412.09010,
title = {Harnessing Nonidealities in Analog In-Memory Computing Circuits: A Physical Modeling Approach for Neuromorphic Systems},
author = {Yusuke Sakemi and Yuji Okamoto and Takashi Morie and Sou Nobukawa and Takeo Hosomi and Kazuyuki Aihara},
journal= {arXiv preprint arXiv:2412.09010},
year = {2025}
}
备注
Title changed