PGrad：学习主梯度用于域泛化
机器学习
2023-05-03 v1
摘要
机器学习模型在面对分布外（OOD）域时表现不佳，这是一项称为域泛化（DG）的挑战性任务。本工作中，我们提出了一种新颖的 DG 训练策略，称为 PGrad，用于学习鲁棒梯度方向，提升模型在未知域上的泛化能力。所提梯度聚合了采样的展开优化轨迹的主方向，该轨迹度量了所有训练域上的训练动态。PGrad 的梯度设计迫使 DG 训练忽略依赖于域的噪声信号，并以覆盖参数动态主要成分的鲁棒方向更新所有训练域。我们通过基于双射的计算细化以及基于方向与长度的校准进一步改进 PGrad。我们的理论证明将 PGrad 与神经网络训练中海森矩阵的光谱分析相联系。在 DomainBed 和 WILDS 基准上的实验表明，我们的方法有效实现了鲁棒 DG 优化并带来平滑下降的损失曲线。实证上，PGrad 在七个数据集上取得了有竞争力的结果，证明了其在合成与真实世界分布偏移下的有效性。代码见 https://github.com/QData/PGrad。
引用
@article{arxiv.2305.01134,
title = {PGrad: Learning Principal Gradients For Domain Generalization},
author = {Zhe Wang and Jake Grigsby and Yanjun Qi},
journal= {arXiv preprint arXiv:2305.01134},
year = {2023}
}