批量归一化对深度学习模型抗噪特性的影响
机器学习
2022-05-17 v1 人工智能
硬件体系结构
摘要
模拟硬件的快速执行速度和能效使其成为在边缘部署深度学习模型的强有力竞争者。然而，尽管深度学习模型具有固有的抗噪特性，人们仍担忧模拟噪声的存在会改变模型权重，导致深度学习模型性能下降。本工作研究了流行的批量归一化层对深度学习模型抗噪能力的影响。该系统性研究首先是在CIFAR10和CIFAR100数据集上训练带和不带批量归一化层的不同模型，然后向所得模型的权重注入模拟噪声，获取并比较模型在测试数据集上的性能。结果表明，批量归一化层的存在对深度学习模型的抗噪特性有负面影响，且影响随批量归一化层数量的增加而增大。
引用
@article{arxiv.2205.07372,
title = {Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models},
author = {Omobayode Fagbohungbe and Lijun Qian},
journal= {arXiv preprint arXiv:2205.07372},
year = {2022}
}