视觉与语言集成用于域泛化
计算机视觉与模式识别
2025-04-18 v1 机器学习
摘要
域泛化旨在通过在 source 域上训练来发现 domain-invariant feature 空间，使模型能够在未知 target 域上具备稳健的泛化能力。然而，由于 domain gap，很难找到可靠的 common image feature 空间，其原因是缺乏适合 image 的 basic units。与 vision space 中的 image 不同，language 拥有能够有效传递语义的全面表达元素。我们受到 language basic units 语义完整性和 image 直观性的启发，提出 VLCA，将 language space 与 vision space 结合，并通过语义空间作为桥接 domain 来连接多个 image domain。具体而言，在 language space 中，利用 language basic units 的完整性，我们倾向于通过 word vector distance 捕捉 category 之间关系的语义表示。然后，在 vision space 中，利用 image 特征的直观性，通过 low-rank 近似探索同一 class 的 sample 特征的 common pattern。最后，通过 text 和 image 的 multimodal space 将 language 表示与 vision 表示对齐。实验表明，所提出的方法有效。
引用
@article{arxiv.2504.12966,
title = {Vision and Language Integration for Domain Generalization},
author = {Yanmei Wang and Xiyao Liu and Fupeng Chu and Zhi Han},
journal= {arXiv preprint arXiv:2504.12966},
year = {2025}
}