结合上下文提示与自适应对比训练的复合零样本学习
计算机视觉与模式识别
2024-12-11 v1
摘要
复合零样本学习（CZSL）旨在识别已见属性与对象的未见组合。当前 CZSL 中基于 CLIP 的方法尽管取得了进展，但由于 CLIP 预训练机制的固有局限，往往无法有效理解和关联属性与对象。为解决这些不足，本文提出了一种新颖框架——复合零样本学习中的属性与对象理解与关联（ULAO），包含两个创新模块。属性与对象理解（UAO）模块通过序列表征预测并利用已识别对象作为属性分类的上下文提示来改进基本理解。同时，属性与对象关联（LAO）模块通过一种新的对比学习策略来改进属性-对象关联理解，该策略融合了定制的难负样本生成和自适应损失调整。我们通过在封闭世界（CW）和开放世界（OW）场景下三个基准数据集上的最先进性能展示了模型的优势。
引用
@article{arxiv.2412.07161,
title = {Compositional Zero-Shot Learning with Contextualized Cues and Adaptive Contrastive Training},
author = {Yun Li and Zhe Liu and Lina Yao},
journal= {arXiv preprint arXiv:2412.07161},
year = {2024}
}