SoMA：面向领域泛化表征学习的奇异值分解次要成分适配
计算机视觉与模式识别
2025-03-24 v2
摘要
领域泛化（DG）旨在利用一个或多个源域适配模型，以确保其在未见过的目标域中具有鲁棒性能。近期，基础模型的参数高效微调（PEFT）在DG问题中展现出有前景的结果。然而，现有的PEFT方法仍难以在保留预训练模型的可泛化成分与学习任务特定特征之间取得平衡。为深入理解可泛化成分的分布，我们首先通过奇异值分解的视角分析预训练权重。基于这些见解，我们提出了奇异值分解次要成分适配（SoMA），该方法选择性地微调次要奇异成分，同时保持其余部分冻结。SoMA有效保留了预训练模型的泛化能力，同时高效获取任务特定技能。此外，我们冻结领域可泛化模块并采用退火权重衰减策略，从而在泛化性与判别性之间的微妙权衡中实现最优平衡。SoMA在多个基准测试中取得了最先进的结果，涵盖领域泛化语义分割和领域泛化目标检测。此外，我们的方法不引入额外的推理开销或正则化损失，保持与任何骨干网络或检测头的兼容性，并且设计通用，可轻松集成到广泛的任务中。
引用
@article{arxiv.2412.04077,
title = {SoMA: Singular Value Decomposed Minor Components Adaptation for Domain Generalizable Representation Learning},
author = {Seokju Yun and Seunghye Chae and Dongheon Lee and Youngmin Ro},
journal= {arXiv preprint arXiv:2412.04077},
year = {2025}
}
备注
CVPR 2025 Project page: https://ysj9909.github.io/SoRA.github.io/