非利普希茨网络的鲁棒性分析

尽管取得了显著进展，深度网络仍极易受到对抗攻击。一个根本挑战是，微小的输入扰动常会在网络最后一层特征空间中产生大幅移动。本文定义了一种抽象该挑战的攻击模型，以帮助理解其内在性质。在我们的模型中， adversary 可在特征空间中以任意距离移动数据，但仅限于随机低维子空间。我们证明此类 adversary 可能非常强大：能击败任何必须对给定输入进行分类的算法。然而，通过允许算法对异常输入弃判（abstain），我们表明当各类在特征空间中分离良好时，此类 adversary 可被克服。我们进一步提供了强有力的理论保证，用于通过数据驱动方法设定算法参数以优化准确率—弃判权衡。我们的结果为最近邻风格算法提供了新的鲁棒性保证，并可用于对比学习，我们经实证展示了此类算法能以低弃判率获得高鲁棒准确率的能力。我们的模型也受策略分类（strategic classification）启发，其中被分类实体旨在操纵其可观测特征以产生偏好分类，我们也对该领域提供了新见解。