基于基础模型的通用域自适应：一项基线研究

基础模型（如 CLIP 或 DINOv2）通过在大规模语料上训练并适配特定下游任务，已在广泛视觉任务中展现出令人印象深刻的学习与迁移能力。然而有趣的是，基础模型尚未在通用域自适应（UniDA）中得到充分探索——UniDA 旨在利用源域标注数据与目标域未标注数据学习模型，使所学模型能成功适配目标数据。本文对使用基础模型的最先进 UniDA 方法进行了全面实证研究。我们首先观察到，与以往方法从 ImageNet 预训练模型微调不同，从基础模型微调所得结果显著更差，有时甚至不如从头训练。在冻结骨干网络时，我们表明尽管基础模型大幅提升了仅在源数据上训练模型的基线方法性能，现有 UniDA 方法普遍未能超越该基线。这表明针对使用基础模型的 UniDA 非常有必要开展新的研究。基于这些发现，我们引入了 CLIP 蒸馏（CLIP distillation），一种专用于从 CLIP 模型蒸馏目标知识的无参数方法。我们 CLIP 蒸馏 的核心在于用于自动温度缩放的自校准技术，该特性显著增强了基线的类外检测能力。尽管简单，我们的方法在大多数基准任务上优于以往方法，在包括 H-score/H$^3$-score 及新提出的通用分类率（UCR）指标在内的评测指标上表现出色。我们希望我们的调研与所提简单框架能作为强基线促进该领域未来研究。