ProCC：面向开放世界组合零样本学习的渐进式跨基元兼容性
计算机视觉与模式识别
2023-12-18 v4
摘要
开放世界组合零样本学习（OW-CZSL）旨在识别图像中状态与对象基元的新组合，且对组合空间无先验，这导致包含所有可能状态-对象组合的极大输出空间。现有工作要么学习联合的组合状态-对象嵌入，要么用独立分类器预测简单基元。然而，前者严重依赖外部词嵌入方法，后者则忽略了相互依赖基元之间的交互。本文中，我们重新审视基元预测方法，并提出一种称为渐进式跨基元兼容性（ProCC）的新方法，以模拟人类针对OW-CZSL任务的学习过程。具体而言，跨基元兼容性模块显式学习用可训练记忆单元建模状态与对象特征的交互，高效获取跨基元视觉注意力以推理高可行性组合，无需外部知识辅助。此外，考虑到部分监督设定（pCZSL）以及多任务预测的类别不平衡问题，我们设计了一种渐进式训练范式，使基元分类器以由易到难的方式交互获取判别信息。在三个广泛使用的基准数据集上的大量实验表明，我们的方法在OW-CZSL和pCZSL设定下均以大幅优势优于其他代表性方法。
引用
@article{arxiv.2211.12417,
title = {ProCC: Progressive Cross-primitive Compatibility for Open-World Compositional Zero-Shot Learning},
author = {Fushuo Huo and Wenchao Xu and Song Guo and Jingcai Guo and Haozhao Wang and Ziming Liu and Xiaocheng Lu},
journal= {arXiv preprint arXiv:2211.12417},
year = {2023}
}