首次演示基于存内模拟矩阵计算的深度神经网络二阶训练
新兴技术
2025-12-08 v1 硬件体系结构
神经与进化计算
摘要
二阶优化方法利用曲率信息，比随机梯度下降（SGD）和 Adam 等一阶方法提供更快更稳定的收敛。然而，其实际应用受到二阶信息矩阵求逆成本过高的阻碍，尤其是在大规模神经网络训练中。在这里，我们首次展示了由存内模拟矩阵计算（AMC）驱动的二阶优化器，使用阻变随机存取存储器（RRAM），在单步中完成矩阵求逆（INV）。我们通过训练一个两层卷积神经网络（CNN）进行手写字母分类来验证该优化器，与带动量的 SGD 和 Adam 相比分别减少了 26% 和 61% 的训练周期。在同一二阶方法的更大任务上，我们的系统相比最先进的数字处理器实现了 5.88 倍的吞吐量提升和 6.9 倍的能效增益。这些结果证明了 AMC 电路用于二阶神经网络训练的可行性和有效性，为能源高效 AI 加速开辟了新路径。
引用
@article{arxiv.2512.05342,
title = {First Demonstration of Second-order Training of Deep Neural Networks with In-memory Analog Matrix Computing},
author = {Saitao Zhang and Yubiao Luo and Shiqing Wang and Pushen Zuo and Yongxiang Li and Lunshuai Pan and Zheng Miao and Zhong Sun},
journal= {arXiv preprint arXiv:2512.05342},
year = {2025}
}