用 GroupSort 神经网络逼近 Lipschitz 连续函数
机器学习
2021-02-09 v2 机器学习
摘要
对抗攻击与 Wasserstein GANs 的近期进展提倡使用具有受限 Lipschitz 常数的神经网络。受这些观察启发，我们研究近期引入的带权值约束的 GroupSort 神经网络，并在理论上朝更好理解其表达能力迈出一步。我们特别展示了这些网络如何表示任意 Lipschitz 连续分段线性函数。我们还证明它们非常适合逼近 Lipschitz 连续函数，并给出关于深度与大小的上界。最后，在一组合成实验中展示了 GroupSort 网络相比更标准的 ReLU 网络的效率。
引用
@article{arxiv.2006.05254,
title = {Approximating Lipschitz continuous functions with GroupSort neural networks},
author = {Ugo Tanielian and Maxime Sangnier and Gerard Biau},
journal= {arXiv preprint arXiv:2006.05254},
year = {2021}
}
备注
16 pages