面向分布外泛化与少样本域自适应的权重平均
计算机视觉与模式识别
2025-01-16 v1 机器学习
摘要
经验风险最小化（ERM）对数据分布的变化不具有鲁棒性。当测试数据分布与训练数据分布不同时，该问题被称为分布外泛化。最近，计算机视觉领域发展出了两种解决分布外泛化的技术：权重平均（WA）和锐度感知最小化（SAM）。WA涉及训练多个具有不同超参数的模型，然后平均这些模型的权重，这可以显著提升分布外泛化性能。SAM优化神经网络以找到平坦区域中的极小值，这些极小值已被证明在分布偏移下表现良好。尽管这些技术取得了很大进展，但仍有改进和进一步探索的空间。在本论文中，我们提出通过引入梯度相似性作为损失正则化项，显式增加WA中的模型多样性，以进一步提升分布外泛化性能。我们还提出结合WA和SAM来解决少样本域自适应问题。我们在数字数据集（MNIST、SVHN、USPS、MNIST-M）和其他域自适应数据集（VLCS、PACS）上的大量实验表明，结合WA和SAM可以提升分布外泛化性能，并显著提高少样本域自适应的准确率。
引用
@article{arxiv.2501.08361,
title = {Weight Averaging for Out-of-Distribution Generalization and Few-Shot Domain Adaptation},
author = {Shijian Xu},
journal= {arXiv preprint arXiv:2501.08361},
year = {2025}
}
备注
Master Thesis