神经网络的精确谱范数正则化
机器学习
2022-06-29 v1 机器学习
摘要
我们延续一条寻求对深度神经网络输入输出映射的雅可比矩阵谱范数进行正则化的研究路线。先前工作依赖于上界估计技术，而我们提供了一种针对精确谱范数的方案。我们展示了相较于先前的谱正则化技术，我们的算法取得了改进的泛化性能，同时对自然与对抗噪声保持了强防护。此外，我们进一步探讨了先前关于雅可比正则化所提供的强对抗保护的一些推论，并表明其可能具有误导性。
引用
@article{arxiv.2206.13581,
title = {Exact Spectral Norm Regularization for Neural Networks},
author = {Anton Johansson and Claes Strannegård and Niklas Engsner and Petter Mostad},
journal= {arXiv preprint arXiv:2206.13581},
year = {2022}
}