具有循环填充与零填充的卷积层的谱范数
机器学习
2024-02-02 v1 计算机视觉与模式识别
摘要
本文利用 Gram 迭代（\emph{Gram iteration}），这是一种高效、确定性且可微的谱范数计算方法，并具有上界保证。该方法专为循环卷积层设计，我们将其推广至零填充卷积层，并证明了其二次收敛性。我们还提供了相关定理，以弥合循环填充与零填充卷积谱范数之间的差距。我们设计了一种谱重缩放（\emph{spectral rescaling}），可用作增强网络鲁棒性的具有竞争力的 -Lipschitz 层。实验表明，我们的方法在精度、计算成本和可扩展性方面均优于 SOTA 技术。实验代码可在 https://github.com/blaisedelattre/lip4conv 获取。
关键词
引用
@article{arxiv.2402.00240,
title = {Spectral Norm of Convolutional Layers with Circular and Zero Paddings},
author = {Blaise Delattre and Quentin Barthélemy and Alexandre Allauzen},
journal= {arXiv preprint arXiv:2402.00240},
year = {2024}
}