Lookbehind-SAM：后退 k 步，前进 1 步

锐度感知最小化（SAM）方法通过将最小化损失值与损失锐度的问题构建为极小极大目标而日益受到欢迎。在本工作中，我们提高了 SAM 目标中最大化与最小化部分的效率，以实现更好的损失-锐度权衡。受使用多步前向下降的 Lookahead 优化器启发，我们提出 Lookbehind，其执行多步后向上升以增强 SAM 的最大化步骤，并找到具有更高损失的最坏情况扰动。随后，为缓解由多步上升中收集的梯度所引起的下降步骤的方差，我们采用线性插值来精炼最小化步骤。Lookbehind 在多种任务中带来诸多益处。特别地，我们展示了其提升了泛化性能、增强了对噪声权重的鲁棒性，以及在持续学习设定中改善了学习并减少了灾难性遗忘。我们的代码可在 https://github.com/chandar-lab/Lookbehind-SAM 获取。