基于多瓦片残差学习的类器件内存训练：应对导体状态受限的挑战
机器学习
2025-10-06 v1 硬件体系结构
最优化与控制
摘要
类器件内存计算（AIMC）加速器通过使用阻性十字阵列在内存中直接实现深度神经网络计算，模型参数由 memristive 器件的导体状态表示。然而，有效的内存训练通常需要至少 8 位导体状态才能匹配数字基准。实现此类细粒度状态成本高昂，常需复杂的噪声抑制技术，这会增加电路复杂度和能耗。实际中，许多有前景的 memristive 器件如 ReRAM 仅因制造约束提供约 4 位分辨率，此受限更新精度显著降低训练精度。为实现受限状态器件的芯内训练，本文提出一种残差学习框架，通过多个类器件瓦片顺序学习，以补偿低精度权重更新的残差误差。我们的理论分析表明，随着瓦片数量增加，最优性间隙缩小，并实现线性收敛率。在标准图像分类基准测试上的实验表明，在受限状态下，本方法持续优于当前内存类器件模拟训练策略，同时通过成本分析证实仅引入适度硬件开销。
关键词
引用
@article{arxiv.2510.02516,
title = {In-memory Training on Analog Devices with Limited Conductance States via Multi-tile Residual Learning},
author = {Jindan Li and Zhaoxian Wu and Gaowen Liu and Tayfun Gokmen and Tianyi Chen},
journal= {arXiv preprint arXiv:2510.02516},
year = {2025}
}