电阻式器件阵列上神经网络训练算法

由电阻式交叉点器件阵列构成的硬件架构，利用随机梯度下降（SGD）和反向传播（BP）算法，可为深度神经网络训练任务带来显著的功耗与速度优势。然而，在这种即将实用的模拟硬件上，训练精度强烈依赖于交叉点元件的开关特性。其中一个关键要求是，这些电阻式器件在受到正或负脉冲刺激时必须以对称方式改变电导。在此，我们提出一种称为“Tiki-Taka”的新训练算法，消除了这一严苛的对称性要求。我们表明，器件不对称性会给 SGD 算法引入一个无意的隐式代价项，而在“Tiki-Taka”算法中，一个耦合动力系统以自洽方式同时最小化神经网络的原始目标函数以及由器件不对称性引起的无意代价项。我们在全连接、卷积和 LSTM 等一系列网络架构上测试了该新算法的有效性。在这些不同网络上的仿真结果表明：使用具有对称（理想）器件开关特性的常规 SGD 算法所能达到的精度，使用具有非对称（非理想）器件开关特性的“Tiki-Taka”算法同样能够达到。此外，阵列上执行的所有操作仍是并行的，因此该新算法在阵列架构上的实现开销极小，且保持了前述功耗与速度优势。这些算法改进对于放宽材料规格要求、实现在技术可行的电阻式交叉开关阵列上超越数字加速器完成同类训练任务至关重要。