梳理 Lipschitz 函数逼近
机器学习
2019-06-12 v2 机器学习
摘要
在严格 Lipschitz 约束下训练神经网络对于可证明的对抗鲁棒性、泛化界、可解释的梯度以及 Wasserstein 距离估计都很有用。由 Lipschitz 函数的复合性质，只需确保每一个单独的仿射变换或非线性激活都是 1-Lipschitz 的。挑战在于在保持表达能力的同时做到这一点。我们确定了此类架构的一个必要性质：每一层必须在反向传播期间保持梯度范数。基于此，我们提出将保持梯度范数的激活函数 GroupSort 与范数约束权重矩阵相结合。我们证明范数约束的 GroupSort 架构是通用的 Lipschitz 函数逼近器。在经验上，我们展示了范数约束的 GroupSort 网络比其 ReLU 对应网络获得了更紧的 Wasserstein 距离估计，并且可以以很小的精度代价实现可证明的对抗鲁棒性保证。
引用
@article{arxiv.1811.05381,
title = {Sorting out Lipschitz function approximation},
author = {Cem Anil and James Lucas and Roger Grosse},
journal= {arXiv preprint arXiv:1811.05381},
year = {2019}
}
备注
8 main pages, 21 pages total, 17 figures. Accepted at ICML 2019