通过右删失高斯噪声训练提升 NVCiM 深度神经网络加速器的真实最坏情况性能
机器学习
2023-08-01 v1 新兴技术
摘要
基于非易失性存储器（NVM）器件的计算内存（CiM）因其原位数据处理能力与优越的能效，在加速深度神经网络（DNNs）方面颇具前景。遗憾的是，训练好的模型参数在映射至 NVM 器件后，常因器件差异而与其预期值产生较大偏差，导致这些基于 CiM 的 DNN 加速器性能显著下降。已有大量方案解决该问题，但主要聚焦于提升 CiM DNN 加速器的平均性能。如何在器件差异影响下保证最坏情况性能——这对自动驾驶等许多安全关键应用至关重要——则鲜有探索。本工作中，我们提出使用第 k 百分位数性能（KPP）来刻画在 CiM 加速器上执行的 DNN 模型的真实最坏情况性能。通过对 KPP 性质与基于噪声注入的 DNN 训练的形式化分析，我们证明：相较于传统高斯噪声，注入一种新颖的右删失高斯噪声可显著提升 DNN 的 KPP。我们进一步提出一种自动化方法，以确定训练过程中注入该右删失高斯噪声的最优超参数。与用于增强器件差异影响下 DNN 鲁棒性的现有最优方法相比，我们的方法在 KPP 上实现了高达 26% 的提升。
引用
@article{arxiv.2307.15853,
title = {Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators through Training with Right-Censored Gaussian Noise},
author = {Zheyu Yan and Yifan Qin and Wujie Wen and Xiaobo Sharon Hu and Yiyu Shi},
journal= {arXiv preprint arXiv:2307.15853},
year = {2023}
}