中文

集成桩与树的 $\ell_p$-范数鲁棒性研究

机器学习 2020-09-30 v2 机器学习

摘要

近期论文表明,集成桩与树可能易受微小输入扰动的影响,因此这些模型的鲁棒性验证与防御已成为一个重要研究问题。然而,由于决策树的结构中每个节点仅基于单一特征值做决策,以往工作均只考虑 \ell_\infty 范数扰动。为研究关于一般 p\ell_p 范数扰动的鲁棒性,必须考虑不同特征上扰动之间的相关性,而以往算法未能处理这一点。本文研究集成决策桩与树在一般 p\ell_p 范数扰动下的鲁棒性验证与认证防御问题。对于集成桩的鲁棒性验证,我们证明当 p(0,)p\in(0, \infty) 时完备验证是 NP-complete 的,而当 p=0p=0\infty 时存在多项式时间算法。对于 p(0,)p\in(0, \infty) 我们开发了基于高效动态规划的集成桩可靠性验证算法。对于集成树,我们将以往的多级鲁棒性验证算法推广到 p\ell_p 范数。我们提出了首个针对 p\ell_p 范数扰动的集成桩与树训练认证防御方法,并在真实数据集上实证验证了其有效性。

关键词

引用

@article{arxiv.2008.08755,
  title  = {On $\ell_p$-norm Robustness of Ensemble Stumps and Trees},
  author = {Yihan Wang and Huan Zhang and Hongge Chen and Duane Boning and Cho-Jui Hsieh},
  journal= {arXiv preprint arXiv:2008.08755},
  year   = {2020}
}

备注

ICML 2020