CAILA：用于组合零样本学习的概念感知层内适配器
计算机视觉与模式识别
2023-11-09 v2
摘要
本文研究组合零样本学习（CZSL）问题，即利用已有概念识别新颖的属性-对象组合。近期研究者聚焦于应用具有强泛化能力的大规模视觉-语言预训练（VLP）模型如 CLIP。然而，这些方法将预训练模型视为黑盒，并关注 CLIP 前后处理操作，并未从内部深入挖掘 CLIP 各层之间的语义概念。我们提出深入模型架构，将已在大型语言模型中被证明有效的参数高效技术——适配器插入到每个 CLIP 编码层。我们进一步为适配器赋予概念感知能力，从而可以提取“对象”、“属性”和“组合”的概念特定特征。我们在四个流行的 CZSL 数据集 MIT-States、C-GQA、UT-Zappos 和 VAW-CZSL 上评估了我们的方法，结果显示其在所有数据集上均优于现有方法，达到最先进性能。
引用
@article{arxiv.2305.16681,
title = {CAILA: Concept-Aware Intra-Layer Adapters for Compositional Zero-Shot Learning},
author = {Zhaoheng Zheng and Haidong Zhu and Ram Nevatia},
journal= {arXiv preprint arXiv:2305.16681},
year = {2023}
}
备注
WACV 2024 Camera Ready