Monge 钝化 Bayes：对抗训练的困难性结果
机器学习
2019-05-09 v4 机器学习
摘要
过去几年中，关于神经网络在输入对抗扰动模型下鲁棒性的实证研究数量惊人。多数研究依赖在给定球内实施局部修改的对手。然而，迄今无人质疑更宏观的问题：如何构建资源受限的对手使其对学习造成严重损害，这是一个至少涉及损失与分类器选择的非平凡问题。我们对满足恰当性（proper）这一最小统计要求的损失给出了形式化回答。我们确定了任一给定对手类对学习有害的简单充分条件，涉及一个广义化著名积分概率度量族的“危害性”中心度量。我们结果的关键特征是适用于所有恰当损失，且对其中流行的子集，该中心度量的优化似乎与损失无关。当分类器为 Lipschitz 型——当前对抗训练中的流行做法——时，该优化借助最优传输实现类边缘分布的低预算压缩。玩具实验揭示了一个近期被分别观察到的发现：针对此类预算充足的对手训练可提升泛化能力。
引用
@article{arxiv.1806.02977,
title = {Monge blunts Bayes: Hardness Results for Adversarial Training},
author = {Zac Cranko and Aditya Krishna Menon and Richard Nock and Cheng Soon Ong and Zhan Shi and Christian Walder},
journal= {arXiv preprint arXiv:1806.02977},
year = {2019}
}