PEER压力：单源域泛化的参数空间集成正则化
机器学习
2025-05-20 v1 人工智能
摘要
数据增强是单源域泛化中流行的工具，通过生成模拟域来扩充源域，从而提高在未见目标域上的泛化性能。在本工作中，我们发现，这类增强方法在目标域上的性能在训练期间普遍波动，这在现实场景下给模型选择带来挑战。我们认为，这种波动源于模型无法累积从多样化增强中所学知识，加剧了训练期间特征扭曲。基于此观察，我们提出了一种新型泛化方法，称为参数空间集成带熵正则化（PEER），其使用代理模型代表主模型学习增强数据。主模型通过与代理模型参数的平均来更新，逐步累积训练步骤中的知识。最大化两个模型输出表示之间的互信息引导代理模型的学习过程，缓解训练期间的特征扭曲。实验结果表明，PEER 在减少 OOD 性能波动方面有效，并在包括 PACS、Digits、Office-Home 和 VLCS 在内的多个数据集上提升泛化性能。值得注意的是，我们的方法仅使用简单随机增强即可实现最先进的性能，超越了使用复杂数据增强策略的先前方法。
引用
@article{arxiv.2505.12745,
title = {PEER pressure: Model-to-Model Regularization for Single Source Domain Generalization},
author = {Dong Kyu Cho and Inwoo Hwang and Sanghack Lee},
journal= {arXiv preprint arXiv:2505.12745},
year = {2025}
}
备注
21 pages, 9 figures, Accepted at CVPR 2025