从已见到未见的结构感知提示自适应用于开放词汇组合零样本学习
计算机视觉与模式识别
2026-03-05 v1
摘要
开放词汇组合零样本学习（OV-CZSL）的目标是在开放词汇设置下识别属性-对象组合，其中同时评估已见和未见的属性与对象的组合。最近，提示调优方法在封闭设置中展现了强大的泛化能力，该设置仅评估已见属性和对象的组合，即组合零样本学习（CZSL）。然而，将这些方法直接应用于OV-CZSL可能不足以泛化到未见属性、对象及其组合，因为它们仅限于已见属性和对象。通常，当面对未见概念时，人类会采用与具有相似语义的已见概念的类比来推断其含义（例如，“湿”和“潮”，“衬衫”和“夹克”）。在本文中，我们通过实验表明，语义相关的属性或对象的分布倾向于在嵌入空间中形成一致的局部结构。基于上述结构，我们提出了结构感知提示自适应（SPA）方法，使模型能够从已见属性和对象泛化到未见属性和对象。具体来说，在训练阶段，我们设计了一种结构感知一致性损失（SCL），鼓励每次迭代中已见属性和对象的局部结构一致性。在推理阶段，我们设计了一种结构引导自适应策略（SAS），自适应地将未见属性和对象的结构与具有相似语义的训练过的已见属性和对象的结构对齐。值得注意的是，SPA是一种即插即用方法，可以无缝集成到现有的CZSL提示调优方法中。在OV-CZSL基准上的大量实验表明，SPA在显著改善开放词汇结果的同时，实现了有竞争力的封闭集性能。
关键词
引用
@article{arxiv.2603.03815,
title = {Structure-aware Prompt Adaptation from Seen to Unseen for Open-Vocabulary Compositional Zero-Shot Learning},
author = {Yihang Duan and Jiong Wang and Pengpeng Zeng and Ji Zhang and Lei Zhao and Chong Wang and Jingkuan Song and Lianli Gao},
journal= {arXiv preprint arXiv:2603.03815},
year = {2026}
}