学会保留与多样化：面向域泛化的参数高效正交正则化组
计算机视觉与模式识别
2024-07-23 v1
摘要
域泛化旨在避免当有限训练数据与未见测试数据之间存在分布偏移时模型性能的下降。近年来，具有海量参数的基座模型通过大规模数据集进行了预训练，展现出强大的泛化能力，为解决域泛化问题提供了有希望的方向。然而，完全微调基座模型会破坏预训练的通用特征，导致分布外精度不理想。最近，参数高效微调通过微调模型的一小部分参数同时保持其余部分冻结，缓解了上述问题，与完全微调相比实现了更好的泛化性能。尽管如此，参数高效微调仍然存在对训练域过拟合的问题。为了解决上述问题，我们针对视觉Transformer提出了参数高效正交正则化组，与传统的参数高效微调相比，它有效地保留了预训练网络的泛化能力并学习了更多样化的知识。具体来说，我们将一组可训练的低秩适配模块注入预训练模型，并提出一种正交正则化损失来增强模型的泛化能力。我们的框架在五个域泛化基准上达到了最先进的性能，同时仅需训练少量参数，且不增加额外的测试成本。
引用
@article{arxiv.2407.15085,
title = {Learn to Preserve and Diversify: Parameter-Efficient Group with Orthogonal Regularization for Domain Generalization},
author = {Jiajun Hu and Jian Zhang and Lei Qi and Yinghuan Shi and Yang Gao},
journal= {arXiv preprint arXiv:2407.15085},
year = {2024}
}