通过最坏情形锐度最小化实现针对光子受限 corruptions 的鲁棒泛化
计算机视觉与模式识别
2023-03-24 v1
摘要
鲁棒泛化旨在处理训练集中罕见且包含严重噪声的最具挑战性的数据分布，即光子受限 corruptions。分布鲁棒优化（DRO）等常见方案关注最坏情形经验风险，以确保在不常见的噪声分布上训练误差较低。然而，由于过参数化模型在稀缺的最坏情形数据上优化，DRO 无法产生平滑的损失景观，从而难以很好地泛化到测试集。因此，我们不再聚焦于最坏情形风险最小化，而是提出 SharpDRO，通过惩罚最坏情形分布的锐度（即衡量学习参数邻域附近的损失变化）来实现。通过最坏情形锐度最小化，所提方法成功地在 corrupted 分布上产生平坦的损失曲线，从而实现鲁棒泛化。此外，考虑到分布标注是否可用，我们将 SharpDRO 应用于两种问题设定，并设计了针对鲁棒泛化的最坏情形选择过程。理论上，我们证明了 SharpDRO 具有良好的收敛保证。实验上，我们使用 CIFAR10/100 和 ImageNet30 数据集模拟光子受限 corruptions，结果表明 SharpDRO 对严重 corruptions 表现出很强的泛化能力，并以大幅性能优势超越知名基线方法。
引用
@article{arxiv.2303.13087,
title = {Robust Generalization against Photon-Limited Corruptions via Worst-Case Sharpness Minimization},
author = {Zhuo Huang and Miaoxi Zhu and Xiaobo Xia and Li Shen and Jun Yu and Chen Gong and Bo Han and Bo Du and Tongliang Liu},
journal= {arXiv preprint arXiv:2303.13087},
year = {2023}
}
备注
CVPR 2023