关注你的损失：理解关于 1-Lipschitz 神经网络的误解
机器学习
2022-10-18 v6 人工智能
机器学习
摘要
Lipschitz 约束网络在深度学习界引起了相当多的关注，其用途从 Wasserstein 距离估计到可证明鲁棒分类器的训练。然而它们仍普遍被认为准确性较低，且其在学习中的性质尚未被充分理解。本文中我们澄清了这一问题：在分类方面，1-Lipschitz 神经网络相比无约束对应物具有若干优势。首先，我们表明这些网络与经典网络一样准确，并能拟合任意困难的边界。接着，依赖于反映操作需求的鲁棒性度量，我们刻画了最鲁棒的分类器：WGAN 判别器。然后，我们表明 1-Lipschitz 神经网络在更温和的假设下泛化良好。最后，我们表明损失的超参数对于控制准确性-鲁棒性权衡至关重要。我们得出结论：它们展现出引人注目的性质，为通向可证明准确且可证明鲁棒的神经网络铺平了道路。
引用
@article{arxiv.2104.05097,
title = {Pay attention to your loss: understanding misconceptions about 1-Lipschitz neural networks},
author = {Louis Béthune and Thibaut Boissin and Mathieu Serrurier and Franck Mamalet and Corentin Friedrich and Alberto González-Sanz},
journal= {arXiv preprint arXiv:2104.05097},
year = {2022}
}
备注
36 pages, 17 figures, NEURIPS 2022