L1 批归一化对深度学习模型抗模拟噪声性质的影响
机器学习
2022-05-11 v1
摘要
近年来，由于其快速执行与高能效，模拟硬件已成为资源受限设备上机器学习的流行选择。然而，模拟硬件中固有的噪声及其对部署的深度神经网络（DNN）模型的负面影响限制了其使用。噪声导致的性能退化要求新颖地设计具有优异抗噪声性质的 DNN 模型，利用 DNN 模型基本构建块的性质。本工作中，提出在设计中采用 L1 或 TopK BatchNorm 类型这一 DNN 模型基本构建块，以构建具有优异抗噪声性质的 DNN 模型。具体地，通过以 L1/TopK BatchNorm 类型训练 DNN 模型进行了系统性研究，并将性能与采用 L2 BatchNorm 类型的 DNN 模型进行比较。所得模型的抗噪声性质通过向模型权重注入加性噪声并评估该噪声导致的新模型推理精度来测试。结果表明，L1 与 TopK BatchNorm 类型具有优异的抗噪声性质，且从 L2 变更为 L1/TopK BatchNorm 类型并未造成性能损失。
引用
@article{arxiv.2205.04886,
title = {Impact of L1 Batch Normalization on Analog Noise Resistant Property of Deep Learning Models},
author = {Omobayode Fagbohungbe and Lijun Qian},
journal= {arXiv preprint arXiv:2205.04886},
year = {2022}
}