基于可行性与上下文依赖简单基元开放世界组合零样本学习
计算机视觉与模式识别
2022-11-08 v1
摘要
组合零样本学习（Compositional Zero-Shot Learning, CZSL）的任务是识别训练阶段未出现的新状态-物体组合的图像。先前的组合嵌入学习方法在封闭世界 CZSL 中已展现出有效性。然而，在开放世界 CZSL（OW-CZSL）中，由于可能组合基数庞大，其性能往往显著下降。一些近期工作分别预测简单基元（即状态与物体）以减小基数。但它们将简单基元视为独立概率分布，忽略了状态、物体与组合之间的重度依赖。本文中，我们通过可行性与上下文对组合的依赖进行建模。可行性依赖指简单基元间不平等的可行性关系，例如现实中 hairy 与 cat 比与 building 更可行。上下文依赖表示图像中的上下文差异，例如 cat 在 dry 与 wet 状态下呈现多样外观。我们设计语义注意力（Semantic Attention, SA）与生成式知识解耦（Knowledge Disentanglement, KD）分别学习可行性与上下文的依赖。SA 利用组合中的语义，由简单基元间的视觉相似性驱动，以缓解不可能预测。KD 将图像解耦为无偏特征表示，缓解预测中的上下文偏差。此外，我们以兼容格式用可行性与上下文补充当前的组合概率模型。最后，我们开展全面实验，分析并验证我们的模型——语义注意力与知识解耦引导的简单基元（SAD-SP）——在三个广泛使用的基准 OW-CZSL 数据集上优越或具竞争力的性能。
引用
@article{arxiv.2211.02895,
title = {Simple Primitives with Feasibility- and Contextuality-Dependence for Open-World Compositional Zero-shot Learning},
author = {Zhe Liu and Yun Li and Lina Yao and Xiaojun Chang and Wei Fang and Xiaojun Wu and Yi Yang},
journal= {arXiv preprint arXiv:2211.02895},
year = {2022}
}