基于IPM的分布鲁棒性及其与正则化和GANs的联系

Hisham Husain

基于IPM的分布鲁棒性及其与正则化和GANs的联系

机器学习 2020-06-09 v1 机器学习

作者: Hisham Husain

摘要

由于深度神经网络对微小扰动的脆弱性，对对抗攻击的鲁棒性是一个重要关切，近年来受到了大量关注。分布鲁棒优化（DRO）是一种特别有前景的应对该挑战的方法，它通过基于散度的不确定性集研究鲁棒性，并为正则化等鲁棒化策略提供了有价值的见解。在机器学习背景下，现有多数结果选择 $f$ -散度、Wasserstein距离以及近期的最大均值差异（MMD）来构造不确定性集。我们通过研究用积分概率度量（IPM）——一个包含MMD、全变分和Wasserstein距离的大型散度族——构造的不确定性集，扩展了这条通过正则化理解鲁棒性的工作线。我们的主要结果表明，在任意IPM选择下的DRO对应于一类正则化惩罚，其在MMD和Wasserstein距离设定下恢复并改进了现有结果。由于结果的普遍性，我们表明其他IPM的选择对应于机器学习中其他常用惩罚。此外，我们扩展了结果以阐明通过 $f$ -GANs的对抗生成建模，构成了对 $f$ -GAN目标分布鲁棒性的首次研究。我们的结果揭示了判别器集关于鲁棒性的归纳性质，使我们能对若干基于惩罚的GAN方法如Wasserstein-、MMD-和Sobolev-GANs给出正面评价。总之，我们的结果将GANs与分布鲁棒性紧密联系，扩展了先前关于DRO的结果，并有助于我们理解正则化与鲁棒性之间的广泛联系。

关键词

分布鲁棒优化积分概率度量正则化 GANs f-GANs 最大均值差异

引用

@article{arxiv.2006.04349,
  title  = {Distributional Robustness with IPMs and links to Regularization and GANs},
  author = {Hisham Husain},
  journal= {arXiv preprint arXiv:2006.04349},
  year   = {2020}
}

基于IPM的分布鲁棒性及其与正则化和GANs的联系

摘要

关键词

引用

相关论文