基于对抗难度的平坦性感知课程学习

通过经验风险最小化训练的神经网络常常会过拟合，尤其是对特定样本或领域，导致泛化性能差。课程学习（CL）通过根据难度选择训练样本来解决此问题。从优化角度看，锐化感知最小化（SAM）通过寻求平坦最小值来提高鲁棒性和泛化性。然而，将CL与SAM结合并不直接。在平坦区域，损失值和梯度范数倾向于统一变小，这使得评估样本难度和设计有效课程课程难以实现。为克服此问题，我们提出了对抗难度度量（ADM），通过利用训练向平坦最小值方向的模型的鲁棒性特性来量化对抗性脆弱性。与基于损失或梯度的度量不同，随着训练进入更平坦的区域，ADM保持信息丰富，方法通过衡量原始样本与对抗样本之间的归一化损失间隔来实现。我们将ADM纳入基于CL的SAM训练中，以动态评估样本难度。在图像分类、细粒度识别和域泛化任务上进行评估。结果表明，我们的方法保留了CL和SAM的优势，同时超过了现有的基于课程的和平坦感知训练策略。