面向无源TiO2 ReRAM交叉阵列外置神经网络迁移鲁棒性提升的硬件感知训练技术
硬件体系结构
2023-05-31 v1 机器学习
摘要
无源阻变随机存取存储器（ReRAM）交叉阵列是一种用于模拟矩阵-向量乘法的极具前景的新兴技术，其在集成密度方面远优于有源（1T1R）对应结构。然而，当前将神经网络权重转移到交叉阵列架构中存储器件的电导状态时，由于硬件变异性（如潜行路径电流、偏置方案效应和电导调谐不精确）会伴随显著的精度损失。本工作提出了将dropout、重参数化技巧和正则化等技术适配于TiO2交叉阵列变异性的训练方法，以生成更适应其硬件迁移的模型。基于实验数据的仿真中，使用half moons数据集对提出的硬件感知网络与常规全连接网络在数千次权重迁移下的输出和精度进行比较，证明了该方法的可行性。对于采用所提硬件感知方法训练的神经网络，测试集中79.5%的数据点能以95%或更高的准确率被分类，而常规训练的神经网络仅有18.5%的测试集数据点能达到该准确率。
引用
@article{arxiv.2305.18495,
title = {Hardware-aware Training Techniques for Improving Robustness of Ex-Situ Neural Network Transfer onto Passive TiO2 ReRAM Crossbars},
author = {Philippe Drolet and Raphaël Dawant and Victor Yon and Pierre-Antoine Mouny and Matthieu Valdenaire and Javier Arias Zapata and Pierre Gliech and Sean U. N. Wood and Serge Ecoffey and Fabien Alibart and Yann Beilliard and Dominique Drouin},
journal= {arXiv preprint arXiv:2305.18495},
year = {2023}
}
备注
15 pages, 11 figures