中文

CAMS:通过门控交叉注意力和多空间解�合实现组合零样本学习

计算机视觉与模式识别 2025-11-21 v1

摘要

组合零样本学习 (CZSL) 旨在学习属性和对象的概念,以识别其未见的组合。在大多数基于 CLIP 的 CZSL 方法中,关注通过利用图像编码器获得的全局语义表示来解缚属性和对象,但这种表示受限于表示容量,无法实现完全的解缚。为此,我们提出了 CAMS,通过从视觉特征中提取语义特征并在多维空间中进行语义解缚,从而提高对未见属性-对象组合的泛化能力。具体而言,CAMS 设计了一种门控交叉注意力机制,通过一组潜在单元从 CLIP 的高级图像编码块中捕获细粒度语义特征,同时自适应地抑制背景和其他无关信息。随后,它进行多空间解缚,以实现属性和对象语义的解缚。在三个流行基准 (MIT-States、UT-Zappos 和 C-GQA) 上的实验表明,CAMS 在封闭世界和开放世界设置下均实现了零样本学习中的最佳性能。代码可在 https://github.com/ybyangjing/CAMS 获取。

关键词

引用

@article{arxiv.2511.16378,
  title  = {CAMS: Towards Compositional Zero-Shot Learning via Gated Cross-Attention and Multi-Space Disentanglement},
  author = {Pan Yang and Cheng Deng and Jing Yang and Han Zhao and Yun Liu and Yuling Chen and Xiaoli Ruan and Yanping Chen},
  journal= {arXiv preprint arXiv:2511.16378},
  year   = {2025}
}