NEAT：用于1T-1R忆阻交叉阵列上神经网络准确且高能效实现的非线性感知训练
新兴技术
2020-12-02 v1
摘要
忆阻交叉阵列存在非理想性（如潜行路径），会降低映射其上的深度神经网络（DNN）的计算精度。已有研究提出1T-1R突触，即在忆阻突触（1R）串联一个晶体管（1T），以缓解此类非理想性。我们观察到晶体管的非线性特性会影响1T-1R单元的整体电导，进而影响交叉阵列中的矩阵-向量乘法（MVM）操作。这种由输入电压相关非线性引起的1T-1R非理想性不仅难以建模或公式化，还会导致DNN映射到交叉阵列时性能急剧下降。本文分析了1T-1R交叉阵列的非线性，并提出一种新颖的非线性感知训练（NEAT）方法来应对非理想性。具体而言，我们首先确定可映射至晶体管线性工作区内的1T-1R单元的网络权重范围。此后，通过使用迭代训练算法将DNN的权重正则化以使其存在于线性工作范围内。我们的迭代训练显著恢复了由非线性引起的分类精度下降。此外，我们发现每一层具有不同的权重分布，进而需要不同的晶体管栅极电压以保证线性操作。基于该观察，我们对不同层的1T-1R单元施加异构栅极电压控制，在保持分类精度的同时实现了能效。最后，我们在CIFAR10与CIFAR100基准数据集上进行了多种实验以证明我们非线性感知训练的有效性。总体而言，在1T-1R交叉阵列上映射ResNet18网络时，NEAT（采用均匀栅极控制）以低于1%的精度损失获得了约20%的能效提升。
引用
@article{arxiv.2012.00261,
title = {NEAT: Non-linearity Aware Training for Accurate and Energy-Efficient Implementation of Neural Networks on 1T-1R Memristive Crossbars},
author = {Abhiroop Bhattacharjee and Lakshya Bhatnagar and Youngeun Kim and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2012.00261},
year = {2020}
}
备注
7 pages, 11 figures