中文

对抗风险与鲁棒性:通用定义及其在均匀分布下的含义

机器学习 2018-10-30 v1 计算复杂性 密码学与安全 机器学习

摘要

我们研究当实例在 {0,1}n\{0,1\}^n 上均匀分布时的对抗扰动。我们既研究适用于任意问题及该问题任意分类器的“固有”界,也研究适用于特定问题及特定假设类的界。由于现有文献包含对抗风险与鲁棒性的多种定义,我们首先基于这些定义的目标给出其分类法,并识别出其中一种定义——通过将实例推至错误区域来保证误分类——作为保障。随后我们研究一些用于学习单调合取的经典算法,并利用均匀分布的实例攻击假设,比较它们在不同定义下的对抗风险与鲁棒性。我们观察到有时这些定义会导致显著不同的界。因此,本研究主张采用错误区域定义,尽管在其他语境下其他定义可能与错误区域定义一致。利用对抗扰动的错误区域定义,我们进而研究实例在 {0,1}n\{0,1\}^n 上均匀分布的任意分类问题中任意分类器的风险与鲁棒性固有界。利用布尔超立方体的等周不等式,我们证明对于初始误差 0.010.01,总存在一种对抗扰动改变实例的 O(n)O(\sqrt{n}) 个比特,将风险提升至 0.50.5,使分类器决策失去意义。进一步,结合中心极限定理我们证明当 nn\to \infty 时,至多 cnc \cdot \sqrt{n} 个比特的扰动(其中通用常数 c<1.17c< 1.17)足以将风险提升至 0.50.5,且平均而言同样的 cnc \cdot \sqrt{n} 个比特扰动足以将风险提升至 11,从而将鲁棒性界定为 cnc \cdot \sqrt{n}

关键词

引用

@article{arxiv.1810.12272,
  title  = {Adversarial Risk and Robustness: General Definitions and Implications for the Uniform Distribution},
  author = {Dimitrios I. Diochnos and Saeed Mahloujifar and Mohammad Mahmoody},
  journal= {arXiv preprint arXiv:1810.12272},
  year   = {2018}
}

备注

Full version of a work with the same title that will appear in NIPS 2018, 31 pages containing 5 figures, 1 table, 2 algorithms