面向域泛化的平坦性感知最小化
计算机视觉与模式识别
2023-07-24 v1 机器学习
摘要
域泛化（DG）旨在学习在未知分布偏移下具有良好泛化能力的鲁棒模型。作为 DG 的一个关键方面，优化器的选择尚未被深入探索。目前，大多数 DG 方法遵循广泛使用的基准 DomainBed，并使用 Adam 作为所有数据集的默认优化器。然而，我们揭示出对于当前大多数 DG 方法和数据集，Adam 未必是最优选择。基于损失景观平坦性的视角，我们提出了一种新方法——面向域泛化的平坦性感知最小化（FAD），它能够为 DG 高效地同时优化零阶和一阶平坦性。我们提供了 FAD 的分布外（OOD）泛化误差和收敛性的理论分析。我们的实验结果证明了 FAD 在各种 DG 数据集上的优越性。此外，我们确认与其他零阶和一阶平坦性感知优化方法相比，FAD 能够发现更平坦的最优点。
引用
@article{arxiv.2307.11108,
title = {Flatness-Aware Minimization for Domain Generalization},
author = {Xingxuan Zhang and Renzhe Xu and Han Yu and Yancheng Dong and Pengfei Tian and Peng Cu},
journal= {arXiv preprint arXiv:2307.11108},
year = {2023}
}
备注
Accepted by ICCV2023