SAMSON：通过离群值归一化缩放的锐度感知最小化用于提升DNN泛化与鲁棒性
机器学习
2023-03-22 v2 人工智能
摘要
高能效深度神经网络(DNN)加速器容易出现非理想特性，从而在推理时降低DNN性能。为缓解此类退化，现有方法通常在训练期间向DNN权重添加扰动以模拟噪声硬件上的推理。然而，这往往需要了解目标硬件知识，并导致DNN性能与鲁棒性之间的权衡，即降低前者以提升后者。本工作中，我们表明应用锐度感知训练，通过同时优化损失值和损失锐度，可显著提升推理时对噪声硬件的鲁棒性，且无需依赖任何关于目标硬件的假设。具体而言，我们提出一种新的自适应锐度感知方法，其给定权重的最坏情况扰动不仅取决于其幅值，还取决于权重分布的范围。这通过执行由离群值最小化缩放的锐度感知最小化(SAMSON)来实现。我们的方法在多个架构和数据集上的测试表明，无论在无噪声机制下的模型泛化性能还是在噪声设置中的鲁棒性，均优于现有的锐度感知训练方法。
引用
@article{arxiv.2211.11561,
title = {SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for Improving DNN Generalization and Robustness},
author = {Gonçalo Mordido and Sébastien Henwood and Sarath Chandar and François Leduc-Primeau},
journal= {arXiv preprint arXiv:2211.11561},
year = {2023}
}
备注
Preprint