利用预训练特征的正则化实现单网络开放域泛化
计算机视觉与模式识别
2023-12-11 v1
摘要
开放域泛化（ODG）是一项具有挑战性的任务，因为它不仅要处理分布偏移，还要处理源数据集和目标数据集之间的类别偏移。为了处理这一任务，模型必须学习一种可泛化的表示，该表示可以应用于未见过的域，同时还要识别训练期间未出现的未知类别。先前的工作使用了多个特定于源的网络，这涉及高计算成本。因此，本文提出了一种仅使用单个网络即可处理 ODG 的方法。所提出的方法利用通过线性探测预训练的头部，并采用两个正则化项，分别针对特征提取器和分类头部的正则化。这两个正则化项充分利用预训练特征，并协作修改模型的头部，而不过度改变特征提取器。这确保了更平滑的 softmax 输出，并防止模型偏向源域。所提出的方法显示出对未见过的域更好的适应性，以及检测未见过的类别的增强能力。大量实验表明，我们的方法在多个基准测试中取得了有竞争力的性能。我们还通过对 logits、特征和头部的影响进行仔细分析来证明我们的方法的合理性。
引用
@article{arxiv.2312.05141,
title = {Open Domain Generalization with a Single Network by Regularization Exploiting Pre-trained Features},
author = {Inseop Chung and KiYoon Yoo and Nojun Kwak},
journal= {arXiv preprint arXiv:2312.05141},
year = {2023}
}