学习率对深度学习模型抗噪特性的影响
机器学习
2022-05-18 v1 人工智能
摘要
近年来，由于模拟计算具有计算速度快和能效优异的特点，对其兴趣大幅增长，这对于在亚瓦特功耗范围内进行深度学习推理的边缘和物联网设备至关重要。然而，模拟计算中固有的噪声会导致深度学习模型性能显著下降，这可能限制其在关键任务应用中的使用。因此，有必要理解关键模型超参数的选择对最终模型抗噪特性的影响。这种需求至关重要，因为所获得的见解可用于设计对模拟噪声具有鲁棒性的深度学习模型。本文研究了学习率这一关键设计选择对抗噪特性的影响。该研究首先使用不同的学习率训练深度学习模型。随后，向模型中注入模拟噪声，并通过测量由模拟噪声引起的性能下降来检验所得模型的抗噪特性。结果表明，存在一个学习率的最佳取值区间，能在模型预测性能和抗噪特性之间取得良好平衡。此外，本文还为观察到的现象提供了理论论证。
引用
@article{arxiv.2205.07856,
title = {Impact of Learning Rate on Noise Resistant Property of Deep Learning Models},
author = {Omobayode Fagbohungbe and Lijun Qian},
journal= {arXiv preprint arXiv:2205.07856},
year = {2022}
}