论认证训练中的悖论

基于凸松弛的认证防御是一种成熟的技术，用于训练可证明鲁棒的模型。其关键组成部分是松弛的选择，从简单的区间到紧的多面体不等。反直觉的是，基于松散区间的训练往往比使用更紧松弛所能达到的认证鲁棒性更高，这是一个众所周知但鲜被理解的悖论。尽管近期工作引入了各种改进以在实践中规避此问题，但训练具有高认证鲁棒性模型的根本问题仍未解决。在本工作中，我们探究该悖论背后的深层原因，并识别出紧性之外影响认证训练动力学的两个关键松弛性质：连续性与敏感性。我们使用若干流行凸松弛进行的广泛实验评估提供了有力证据，表明这些因素能够解释更紧松弛所观察到的认证鲁棒性下降。我们还系统地探索了对现有松弛的修改，并发现改善不利性质十分困难，因为此类尝试常损害其他性质，揭示出复杂的权衡。我们的发现是理解认证训练中所涉复杂优化挑战的重要第一步。