大规模预训练先验引导的领域泛化
机器学习
2024-06-11 v1
摘要
领域泛化旨在从有限的源领域训练模型，使其能够泛化到未知的目标领域。通常，领域泛化模型仅在微调初始化时使用大规模预训练模型。然而，大规模预训练模型已经具备抵抗领域偏移的能力。如果在微调过程中持续参考预训练模型以维持这种能力，可以进一步增强领域泛化模型的泛化能力。为此，我们引入了一种名为“大规模预训练先验微调”的新方法，该方法将预训练模型作为先验纳入领域泛化微调过程，确保模型在每一步优化中都参考其预训练模型。FT-LP包含一个理论框架和一个简单的实现策略。理论上，我们通过引入带有预训练先验的领域泛化泛化误差界来验证FT-LP的合理性。在实现上，我们利用一个编码器来模拟模型分布，从而在仅有预训练权重时也能使用FT-LP。总之，我们为领域泛化算法提供了一种新的微调方法，使其能够在整个微调过程中利用预训练模型。通过在多个数据集和领域泛化模型上的实验，我们提出的方法表现出显著的改进，证明了其有效性。
引用
@article{arxiv.2406.05628,
title = {Domain Generalization Guided by Large-Scale Pre-Trained Priors},
author = {Zongbin Wang and Bin Pan and Shiyu Shen and Tianyang Shi and Zhenwei Shi},
journal= {arXiv preprint arXiv:2406.05628},
year = {2024}
}