中文

二分类中对抗训练的几何

机器学习 2023-02-13 v2 偏微分方程分析 度量几何 最优化与控制 机器学习

摘要

我们建立了非参数二分类的一类对抗训练问题与一类正则化风险最小化问题之间的等价性,其中正则化项为非局部周长泛函。所得的正则化风险最小化问题允许 L1+L^1+(非局部)TV\operatorname{TV} 类型的精确凸松弛,该形式在图像分析和基于图的学习中被广泛研究。这种重构揭示了一种丰富的几何结构,进而使我们能够确立原始问题最优解的一系列性质,包括极小解与极大解的存在性(在适当意义下解释),以及正则解的存在性(同样在适当意义下解释)。此外,我们强调,对抗训练与周长最小化问题之间的联系,为涉及周长/全变差的一类正则化风险最小化问题提供了一种新颖且可直接解释的统计动机。我们的大多数理论结果独立于用于定义对抗攻击的距离。

关键词

引用

@article{arxiv.2111.13613,
  title  = {The Geometry of Adversarial Training in Binary Classification},
  author = {Leon Bungert and Nicolás García Trillos and Ryan Murray},
  journal= {arXiv preprint arXiv:2111.13613},
  year   = {2023}
}