探索锐度感知最小化算法在分布外泛化中的作用

最近，锐度感知最小化（SAM）作为一种通过最小化锐度来提升泛化能力的有前景方法出现。自 SAM 最初提出以来，许多 SAM 变体被提出以提高其准确性和效率，但比较主要局限于 i.i.d. 设置。在本文中，我们研究 SAM 在分布外（OOD）泛化中的应用。首先，我们在零样本 OOD 泛化上对八种 SAM 变体进行了全面比较，发现原始 SAM 平均比 Adam 基线高出 4.76%，最强的 SAM 变体平均比 Adam 基线高出 8.01%。然后，我们为该设置提供了一个用锐度表示的 OOD 泛化界。接下来，我们将 SAM 的研究扩展到相关的渐进域适应（GDA）设置，这是另一种 OOD 泛化形式，其中在源域和目标域之间构建中间域，并在中间域上进行迭代自训练，以改善整体目标域误差。在该设置中，我们的实验结果表明，原始 SAM 在每个实验数据集上平均比 Adam 基线高出 0.82%，最强的 SAM 变体平均比 Adam 高出 1.52%。然后，我们为 GDA 设置中的 SAM 提供了一个泛化界。渐近地，该泛化界并不比 GDA 文献中自训练的泛化界更好。这凸显了 SAM 的理论论证与其经验性能之间的进一步脱节，近期工作发现低锐度本身并不能解释 SAM 的所有泛化优势。对于未来工作，我们提供了在 OOD 设置中获得 SAM 更紧分析的几个潜在方向。