预训练用于域泛化与域适应的广泛研究
计算机视觉与模式识别
2022-07-22 v3
摘要
深度模型必须学习鲁棒且可迁移的表征，以便在新域上表现良好。尽管已提出域迁移方法（例如域适应、域泛化）来学习跨域可迁移表征，但它们通常应用于在 ImageNet 上预训练的 ResNet 骨干网络。因此，现有工作很少关注预训练对域迁移任务的影响。在本文中，我们对用于域适应和域泛化的预训练进行了广泛研究与深入分析，即：网络架构、规模、预训练损失和数据集。我们观察到，仅使用最先进的骨干网络就优于现有的最先进域适应基线，并在 Office-Home 和 DomainNet 上设定了新的基线，分别提升了 10.7% 和 5.5%。我们希望这项工作能为未来的域迁移研究提供更多见解。
引用
@article{arxiv.2203.11819,
title = {A Broad Study of Pre-training for Domain Generalization and Adaptation},
author = {Donghyun Kim and Kaihong Wang and Stan Sclaroff and Kate Saenko},
journal= {arXiv preprint arXiv:2203.11819},
year = {2022}
}