SGD 抖动：用于鲁棒且准确的模型架构的训练策略
机器学习
2025-06-09 v3 信号处理
摘要
逆问题旨在从受损或扰动的测量中重建不可见的数据。虽然大多数工作侧重于提高重建质量，但 generalization 准确性和鲁棒性同样重要，尤其是在安全关键应用中。模型架构 (MBA) 如解卷积方法被认为更具可解释性且实现更好的重建。经验证据表明，MBA 对扰动更具鲁棒性，但 accuracy-robustness 折衷在 MBA 中仍未得到充分探讨。本文提出一种简单而有效的 MBA 训练方案，称为 SGD 抖动，该方案在重建过程中逐迭代注入噪声。我们理论上表明，SGD 抖动不仅比标准均方误差训练更具 generalization 能力，而且更具抗 average-case 攻击的鲁棒性。我们使用去噪玩具示例、地震反卷积和单 coil MRI 重建进行验证。SGD 抖动及其 SPGD 扩展均为 out-of-distribution 数据提供更干净的重建，并显示出对抗性攻击的增强鲁棒性。
引用
@article{arxiv.2410.14667,
title = {SGD Jittering: A Training Strategy for Robust and Accurate Model-Based Architectures},
author = {Peimeng Guan and Mark A. Davenport},
journal= {arXiv preprint arXiv:2410.14667},
year = {2025}
}
备注
ICML 2025