审视批归一化优化在缓解存内计算中多样硬件噪声的作用与局限
机器学习
2023-05-31 v1 新兴技术
摘要
存内计算（In-Memory Computing, IMC）平台如模拟交叉阵列正受到关注，因为它们以高面积与计算效率加速低精度深度神经网络（DNNs）。然而，交叉阵列中固有的非理想性往往是非确定且非线性的，会劣化所部署 DNN 的性能。除量化误差外，推理期间最常遇到的非理想性包括交叉阵列电路级寄生电阻与器件级非理想性，如随机读取噪声与时间漂移。本工作中，我们的目标是仔细审视这些非理想性对模拟交叉阵列中点积运算造成的失真，并探索一种近乎无训练的实时解决方案的可行性：通过交叉阵列感知的批归一化（batchnorm）参数微调来缓解非理想性的影响。这得以降低 IMC 噪声感知重训练交叉阵列上 DNN 权重的存储器与训练能耗硬件成本。
引用
@article{arxiv.2305.18416,
title = {Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing},
author = {Abhiroop Bhattacharjee and Abhishek Moitra and Youngeun Kim and Yeshwanth Venkatesha and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2305.18416},
year = {2023}
}
备注
Accepted in Great Lakes Symposium on VLSI 2023 (GLSVLSI 2023) conference