ERM++:一种改进的领域泛化基线
机器学习
2024-12-11 v4 计算机视觉与模式识别
摘要
领域泛化(DG)旨在开发可泛化至新的、未见数据分布的分类器,这在收集新的特定领域数据不切实际时是一项关键能力。一种常见的 DG 基线是在源领域上最小化经验风险。近期研究表明,当适当调参时,这种称为经验风险最小化(ERM)的方法可以胜过大多数更复杂的 DG 方法。然而,这些研究主要关注狭窄的超参数集合,忽视了其他可增强鲁棒性并防止过拟合与灾难性遗忘的因素,而这些特性对强劲的 DG 性能至关重要。在我们关于训练数据利用(即时长与验证集划分设置)、初始化和额外正则化项的研究中,我们发现调优这些先前被忽视的因素可在不增加太多复杂度的前提下显著提升跨多样数据集的模型泛化能力。我们将这种改进却简单的基线称为 ERM++。尽管易于实现,ERM++ 在含 ResNet-50 的 5 数据集标准基准上相较先前 ERM 基线提升超 5% 的 DG 性能,在 ViT-B/16 上提升超 15%。它还在 DomainBed 数据集上以两种架构均优于所有最先进方法。重要的是,ERM++ 易于集成进如 DomainBed 的现有框架,使其成为研究者和从业者的实用且强大的工具。总体而言,ERM++ 通过提供更强、更可靠的保持简洁与易用性的基线,挑战了对更复杂 DG 方法的需求。代码见 \url{https://github.com/piotr-teterwak/erm_plusplus}
引用
@article{arxiv.2304.01973,
title = {ERM++: An Improved Baseline for Domain Generalization},
author = {Piotr Teterwak and Kuniaki Saito and Theodoros Tsiligkaridis and Kate Saenko and Bryan A. Plummer},
journal= {arXiv preprint arXiv:2304.01973},
year = {2024}
}
备注
An improved baseline for Domain Generalization. WACV 2025