DSP-Reg: 用于鲁棒域泛化的域敏感参数正则化
机器学习
2026-01-28 v1
摘要
域泛化是一个关键领域，专注于开发能够在来自未见分布的数据上表现良好的模型，这对于现实世界的应用至关重要。现有方法主要集中于学习域不变特征，这些方法假设一个对源域变化鲁棒的模型将很好地泛化到未见的目标域。然而，这些方法忽略了参数层面的深入分析，这使得模型难以明确区分对域偏移敏感的参数和鲁棒的参数，可能阻碍其整体泛化能力。为了解决这些局限性，我们首先构建了一个基于协方差的参数敏感性分析框架，以量化模型中每个参数对域偏移的敏感性。通过计算多个源域上参数梯度的协方差，我们可以识别出更容易受域变化影响的参数，这构成了我们的理论基础。基于此，我们提出了域敏感参数正则化，这是一个原则性的框架，通过一种软正则化技术指导模型优化，鼓励模型更多地依赖域不变参数，同时抑制那些域特定的参数。这种方法提供了对模型学习过程更精细的控制，从而提高了对未见域的鲁棒性和泛化能力。在PACS、VLCS、OfficeHome和DomainNet等基准上的大量实验表明，DSP-Reg优于最先进的方法，达到了66.7%的平均准确率，超越了所有基线。
引用
@article{arxiv.2601.19394,
title = {DSP-Reg: Domain-Sensitive Parameter Regularization for Robust Domain Generalization},
author = {Xudong Han and Senkang Hu and Yihang Tao and Yu Guo and Philip Birch and Sam Tak Wu Kwong and Yuguang Fang},
journal= {arXiv preprint arXiv:2601.19394},
year = {2026}
}