最小锐度：神经网络的尺度不变参数鲁棒性
机器学习
2021-06-29 v2
摘要
为实现鲁棒且具有防御性的神经网络，近年来针对权重参数扰动的鲁棒性即锐度受到关注（Sun等人，2020）。然而，锐度已知仍存在一个关键问题——“尺度敏感性”。本文提出一种新颖的锐度度量，最小锐度。已知神经网络具有特定的尺度变换，构成等价类，其中函数性质完全相同，同时其锐度可无限改变。我们通过在该等价类神经网络上关于尺度变换不变的最小化问题来定义我们的锐度。我们还开发了高效且精确的技术使锐度可处理，降低了涉及Hessian矩阵的大量计算成本。实验中，我们观察到我们的锐度与神经网络的泛化能力具有有效相关性，且比现有锐度度量的计算成本更低。
引用
@article{arxiv.2106.12612,
title = {Minimum sharpness: Scale-invariant parameter-robustness of neural networks},
author = {Hikaru Ibayashi and Takuo Hamaguchi and Masaaki Imaizumi},
journal= {arXiv preprint arXiv:2106.12612},
year = {2021}
}
备注
9 pages, accepted to ICML 2021 Workshop on Theoretic Foundation, Criticism, and Application Trend of Explainable AI