高斯混合模型下$\ell_0$攻击的鲁棒分类

众所周知，机器学习模型易受微小但精心设计的对抗扰动影响而导致误分类。尽管在针对各种对抗设置设计攻击与防御方面已取得重大进展，许多基础和理论问题尚待解决。在本文中，我们考虑存在$\ell_0$有界对抗扰动（即稀疏攻击）下的分类。该设置与$p\geq 1$的其他$\ell_p$对抗设置显著不同，因为$\ell_0$球是非凸且高度非光滑的。在数据为高斯混合模型分布的假设下，我们的目标是刻画最优鲁棒分类器及相应鲁棒分类误差，以及鲁棒性、准确性和对手预算之间的各种权衡。为此，我们开发了一种称为FilTrun的新分类算法，其包含两个主要模块：滤波与截断。我们方法的核心思想是首先滤除输入的非鲁棒坐标，然后应用精心设计的截断内积进行分类。通过分析FilTrun的性能，我们推导了最优鲁棒分类误差的上界。我们还通过设计一种特定的对抗策略找到下界，使我们能够推导相应的鲁棒分类器及其达到的误差。对于高斯混合协方差矩阵为对角的情况，我们证明当输入维度变大时，上下界收敛；即我们刻画了渐近最优鲁棒分类器。自始至终，我们讨论了几个示例，展示了有趣的行为，例如存在决定对抗扰动影响是否可被完全中和的对手预算相变。