面向域泛化的基于梯度混合并向更平坦极小值外推的学习方法
机器学习
2026-04-28 v2
摘要
为解决训练与测试数据间的分布偏移，域泛化(DG)利用多个源域学习一个对未见域泛化良好的模型。然而，现有 DG 方法常对源域过拟合，部分原因是特征空间中期望区域的覆盖有限。受此启发，我们提出通过数据插值与外推执行 mixup 以覆盖潜在未见区域。为防止无约束外推的不良影响，我们精心设计了一个生成实例权重的策略，称为平坦度感知的基于梯度的混合法(Flatness-aware Gradient-based Mixup, FGMix)。该策略依赖基于梯度的兼容性，对携带更多不变信息的实例赋予更大权重，并学习朝向更平坦极小值的 mixup 策略以获得更好泛化。在 DomainBed 基准上，我们验证了 FGMix 各种设计的有效性，并展示了其相对于其他 DG 算法的优越性。
引用
@article{arxiv.2209.14742,
title = {Learning Gradient-based Mixup with Extrapolation toward Flatter Minima for Domain Generalization},
author = {Danni Peng and Sinno Jialin Pan},
journal= {arXiv preprint arXiv:2209.14742},
year = {2026}
}
备注
45 pages, 9 figures