面向目标的单域泛化

在分布变化的情况下，训练于单一源域的深度模型常常会发生严重崩溃，这是单域泛化（SDG）中的一个关键挑战。虽然现有方法侧重于增强源数据或学习不变特征，但忽略了一种 readily available 的资源：目标部署环境的文本描述。我们提出目标导向的单域泛化（TO-SDG），这是一种新颖的问题设置，通过利用目标域的文本描述（无需任何目标数据）来指导模型泛化。为解决TO-SDG，我们引入谱目标对齐（STAR），这是一种轻量级模块，通过利用视觉语言模型（如 CLIP）将目标语义注入源特征中。STAR利用来自目标描述文本嵌入的目标锚定子空间来重新定位图像特征，以便接近部署域，然后利用谱投影保留与目标线索相关的方向，同时丢弃源特定的噪声。此外，我们使用视觉语言蒸馏来对齐骨干特征与 VLM 的语义几何。STAR还采用特征空间的 Mixup 以确保源特征和目标特征之间的平滑过渡。在 various 图像分类和目标检测基准测试中进行的实验表明，STAR的优势显而显著。本工作表明，最小的文本元数据——这是一种实用且常被忽视的资源——在严重的数据约束下显著增强了泛化能力，为在数据未知的目标环境中部署稳健模型开辟了新的途径。