广义 Lipschitz 正则化等价于分布鲁棒性
机器学习
2020-02-12 v1 机器学习
摘要
对抗样本问题凸显了对一种正则化理论的需求，该理论需足够通用以适用于诸如通用逼近器之类的特殊函数类。对此，我们给出了一个关于分布鲁棒性与正则化之间关系的非常一般的等式结果，其中正则化由传输代价不确定性集定义。该理论允许我们在非常温和的假设下（紧致地）证明 Lipschitz 正则化模型的鲁棒性性质。作为一个理论应用，我们展示了一个阐明对抗学习与分布鲁棒性之间联系的新结果。随后我们给出了关于如何实现核分类器 Lipschitz 正则化的新结果，并通过实验进行了验证。
引用
@article{arxiv.2002.04197,
title = {Generalised Lipschitz Regularisation Equals Distributional Robustness},
author = {Zac Cranko and Zhan Shi and Xinhua Zhang and Richard Nock and Simon Kornblith},
journal= {arXiv preprint arXiv:2002.04197},
year = {2020}
}