动态对称点跟踪：解决模拟内存训练中的非理想参考问题
机器学习
2026-02-26 v1 硬件体系结构
最优化与控制
摘要
模拟存储计算（AIMC）在阻enti器交叉阵列中直接执行计算，提供了大规模视觉和语言模型的能源高效平台。然而，非理想的模拟器件属性使得在 AIMC 设备上的训练具有挑战性。特别是，其更新不对称会导致权重更新系统性漂移倾向于特定于设备的对称点（SP），而该点通常不与训练目标的最优值一致。为缓解这种偏差，大多数现有工作假设 SP 已知并通过将参考点设置为 SP 来进行校准。然而，校准 AIMC 器件需要高成本的脉冲更新，残余校准误差可直接降低训练准确性。本文提出了 SP 校准脉冲复杂度的首个理论表征，以及随之而来的估计误差。我们进一步提出一种动态 SP 估计方法，该方法在模型训练期间跟踪 SP，并建立了收敛保证。此外，我们开发了一个基于数字信号处理中的切割和滤波技术的增强变体。数值实验表明，所提出的方法在效率和效果方面均表现出色。
引用
@article{arxiv.2602.21321,
title = {Dynamic Symmetric Point Tracking: Tackling Non-ideal Reference in Analog In-memory Training},
author = {Quan Xiao and Jindan Li and Zhaoxian Wu and Tayfun Gokmen and Tianyi Chen},
journal= {arXiv preprint arXiv:2602.21321},
year = {2026}
}