从不完整数据中学习对对抗扰动的鲁棒性
机器学习
2019-05-31 v1 信息论
机器学习
math.IT
摘要
当假定的底层分布受到对抗性扰动时，未标记数据在推断问题中扮演什么角色？为给出此问题的具体答案，本文统一了两个主要学习框架：半监督学习（SSL）与分布鲁棒学习（DRL）。我们基于若干新复杂性度量（如Rademacher复杂度的对抗扩展及其半监督类比）为我们的框架发展了泛化理论。此外，与SSL现有理论工作相比，我们的分析能够在更一般的条件下量化未标记数据在泛化中的作用。基于我们的框架，我们还提出了一种DRL与EM算法的混合方法，其具有保证的收敛速率。当使用深度神经网络实现时，我们的方法在多个真实世界基准数据集上显示出与最先进方法相当的性能。
引用
@article{arxiv.1905.13021,
title = {Robustness to Adversarial Perturbations in Learning from Incomplete Data},
author = {Amir Najafi and Shin-ichi Maeda and Masanori Koyama and Takeru Miyato},
journal= {arXiv preprint arXiv:1905.13021},
year = {2019}
}
备注
41 pages, 9 figures