对抗鲁棒性的广义无免费午餐定理
机器学习
2019-06-05 v8 机器学习
摘要
本手稿给出了机器学习中对抗鲁棒性的一些新的不可能性结果，这是一个非常重要却大体开放的问题。我们证明，若在类标签条件下数据分布满足 Talagrand 运输代价不等式（例如，当条件分布具有 log-concave 密度，或是具有正 Ricci 曲率的紧致 Riemannian 流形上的均匀测度时，该条件成立），则一旦扰动略大于问题中的自然噪声水平，任何分类器都以高概率被对抗性欺骗。我们称此结果为强“无免费午餐”定理，因为该主题上的一些近期结果（Tsipras 等 2018、Fawzi 等 2018 等）可立即作为极特殊的情形被 recovered。我们的理论界在模拟与真实数据（MNIST）上均得到验证。我们在手稿结尾对可能的未来研究方向作了若干推测。
引用
@article{arxiv.1810.04065,
title = {Generalized No Free Lunch Theorem for Adversarial Robustness},
author = {Elvis Dohmatob},
journal= {arXiv preprint arXiv:1810.04065},
year = {2019}
}