浅层网络 1-路径范数的高效近端映射
机器学习
2020-07-16 v2 最优化与控制
机器学习
摘要
我们展示了浅层神经网络 1-路径范数的两个新的重要性质。首先，尽管其非光滑且非凸，它允许一个可高效计算的闭式近端算子，从而可以使用随机近端梯度类方法进行正则化经验风险最小化。其次，当激活函数可微时，它给出了网络 Lipschitz 常数的一个上界。该上界比逐层 Lipschitz 常数乘积的平凡界更紧，这促使将其用于训练对对抗扰动鲁棒的网络。在实际实验中，我们说明了使用近端映射的优势，并比较了 1-路径范数、L1 范数以及 Lipschitz 常数逐层约束（Parseval 网络）所带来的鲁棒性-准确率权衡。
引用
@article{arxiv.2007.01003,
title = {Efficient Proximal Mapping of the 1-path-norm of Shallow Networks},
author = {Fabian Latorre and Paul Rolland and Nadav Hallak and Volkan Cevher},
journal= {arXiv preprint arXiv:2007.01003},
year = {2020}
}
备注
ICML 2020. Fabian Latorre, Paul Rolland and Nadav Hallak have contributed equally