防止Lipschitz约束卷积网络中的梯度衰减
机器学习
2019-11-12 v2 机器学习
摘要
深度神经网络在L2范数下的Lipschitz约束对于可证明的对抗鲁棒性界、稳定训练以及Wasserstein距离估计都十分有用。尽管诸如梯度惩罚之类的启发式方法在实践上取得了很大成功，但在可证明地强制Lipschitz约束的同时取得类似的实践性能仍具挑战性。原则上，可利用Lipschitz函数的复合性质设计Lipschitz约束架构，但Anil等人近期指出了该方法的一个关键障碍：梯度范数衰减。他们展示了如何通过设计每一层均为梯度范数保持来规避全连接网络中的此问题。我们将他们的方法扩展至可训练的可扩展、具表达力且可证明Lipschitz的卷积网络。具体而言，我们提出块卷积正交参数化(BCOP)，一种对正交卷积操作具表达力的参数化方法。我们表明，尽管正交卷积的空间是不连通的，但具有2n个通道的BCOP的最大连通分支可表示任意n通道上的BCOP卷积。我们的BCOP参数化使我们能够训练具有可证明Lipschitz界的大型卷积网络。在经验上，我们发现其在可证明对抗鲁棒性与Wasserstein距离估计方面与现有方法具有竞争力。
引用
@article{arxiv.1911.00937,
title = {Preventing Gradient Attenuation in Lipschitz Constrained Convolutional Networks},
author = {Qiyang Li and Saminul Haque and Cem Anil and James Lucas and Roger Grosse and Jörn-Henrik Jacobsen},
journal= {arXiv preprint arXiv:1911.00937},
year = {2019}
}
备注
9 main pages, 31 pages total, 3 figures. Accepted at 33rd Conference on Neural Information Processing Systems (NeurIPS 2019)