高斯损失平滑实现具有紧凸松弛的认证训练
机器学习
2025-07-16 v4
摘要
尽管付出了巨大努力，训练具有高超认证精度以对抗对抗样本的神经网络仍然是一个未解决的挑战。虽然认证方法可以有效利用紧凸松弛进行界限计算，但在训练中，这些方法出乎意料地可能表现不如较松的松弛。先前的工作假设这种现象是由更紧的松弛引起的损失表面的不连续性、非平滑性和扰动敏感性造成的。在这项工作中，我们从理论上证明了在损失表面上应用高斯损失平滑 (Gaussian Loss Smoothing, GLS) 可以缓解这些问题。我们通过实例化 GLS 的两种变体在经验上证实了这一点：一种称为 PGPE 的零阶优化算法，允许使用不可微松弛进行训练；另一种称为 RGS 的一阶优化算法，需要松弛的梯度但比 PGPE 高效得多。大量实验表明，当与紧松弛结合使用时，这些方法在许多设置下针对相同网络架构的训练效果超越了最先进的方法。我们的结果清楚地展示了高斯损失平滑在训练可认证鲁棒神经网络方面的前景，并为利用更紧的松弛进行认证训练铺平了道路。
引用
@article{arxiv.2403.07095,
title = {Gaussian Loss Smoothing Enables Certified Training with Tight Convex Relaxations},
author = {Stefan Balauca and Mark Niklas Müller and Yuhao Mao and Maximilian Baader and Marc Fischer and Martin Vechev},
journal= {arXiv preprint arXiv:2403.07095},
year = {2025}
}
备注
Accepted for publication in TMLR 07/2025