迈向统一且高效的区域泛化
计算机视觉与模式识别
2023-10-17 v1 人工智能
机器学习
摘要
我们提出 ，一个新颖且化的omain eneralization（区域泛化）框架，能够显著提升基础模型在分布外泛化上的性能，而与其架构无关。UniDG 的核心思想是在推理阶段微调模型，从而节省迭代训练的成本。具体而言，我们鼓励模型以无监督方式学习测试数据的分布，并对模型参数的更新步长施加惩罚。该惩罚项可有效缓解灾难性遗忘问题，因为我们希望最大程度保留原始模型中的有价值知识。在经验上，跨越 12 种视觉骨干网络（包括基于 CNN、MLP 与 Transformer 的模型，参数量从 1.89M 到 303M），UniDG 在 DomainBed 上展现出平均 +5.4% 的精度提升。这些性能结果证明了 UniDG 的优越性与通用性。代码已公开于 https://github.com/invictus717/UniDG
引用
@article{arxiv.2310.10008,
title = {Towards Unified and Effective Domain Generalization},
author = {Yiyuan Zhang and Kaixiong Gong and Xiaohan Ding and Kaipeng Zhang and Fangrui Lv and Kurt Keutzer and Xiangyu Yue},
journal= {arXiv preprint arXiv:2310.10008},
year = {2023}
}
备注
Project Website: https://invictus717.github.io/Generalization/