基于预训练模型的未知域风险最小化梯度估计
机器学习
2023-09-12 v3
摘要
域泛化旨在仅利用源域进行模型优化时,构建在未知域上表现良好的泛化模型。近期研究表明,大规模预训练模型可通过其泛化能力增强域泛化。然而,由于预训练目标与目标任务之间存在差异,这些预训练模型尚缺乏特定于目标任务的知识。尽管可通过微调从源域学习该任务特定知识,但因梯度偏向源域,这会损害预训练模型的泛化能力。为缓解此问题,我们提出一种新的域泛化方法,利用大规模预训练模型估计不可观测梯度,以降低未知域中的潜在风险。这些估计出的不可观测梯度使预训练模型在缓解梯度偏置的同时进一步学习任务特定知识,从而保留其泛化能力。实验结果表明,我们的方法在域泛化标准基准 DomainBed 上优于基线方法。我们还提供了大量分析,证明预训练模型能够在不牺牲泛化能力的前提下学习任务特定知识。
引用
@article{arxiv.2302.01497,
title = {Gradient Estimation for Unseen Domain Risk Minimization with Pre-Trained Models},
author = {Byounggyu Lew and Donghyun Son and Buru Chang},
journal= {arXiv preprint arXiv:2302.01497},
year = {2023}
}
备注
ICCV2023 Workshop Version