面向组合零样本学习的状态-物体组件互平衡
计算机视觉与模式识别
2022-11-22 v1
摘要
组合零样本学习（CZSL）旨在从已见状态与物体中识别未见的组合。人工标注的语义信息与其实际视觉特征间的差异，导致不同物体类与状态类的分布中存在显著的视觉偏差不平衡，而现有方法忽视了这一点。为改善这些问题，我们将 CZSL 任务视为不平衡多标签分类任务，并提出一种称为状态-物体组件互平衡（MUST）的新方法用于 CZSL，其为模型提供了平衡归纳偏置。具体而言，我们将组合类的分类拆分为两个连续过程，以分析两组件的纠缠并提前获取额外知识，其反映了两组件间的视觉偏差程度。我们利用所获知识修改模型的训练过程，从而为具有显著视觉偏差的类生成更清晰的类边界。大量实验表明，当与基础 CZSL 框架结合时，我们的方法在 MIT-States、UT-Zappos 与 C-GQA 上显著优于最先进方法，且可改进多种 CZSL 框架。我们的代码发布于 https://anonymous.4open.science/r/MUST_CGE/。
引用
@article{arxiv.2211.10647,
title = {Mutual Balancing in State-Object Components for Compositional Zero-Shot Learning},
author = {Chenyi Jiang and Dubing Chen and Shidong Wang and Yuming Shen and Haofeng Zhang and Ling Shao},
journal= {arXiv preprint arXiv:2211.10647},
year = {2022}
}