面向组合零样本学习的混合判别属性-对象嵌入网络
计算机视觉与模式识别
2024-12-03 v1 人工智能
摘要
组合零样本学习（CZSL）通过学习已知属性-对象对来识别新组合。然而，该任务的主要挑战在于属性与对象视觉表征之间的复杂相互作用，导致图像间存在显著差异。此外，现实世界中标签分布呈长尾分布，使识别任务更加复杂。为解决这些问题，我们提出了一种新方法，称为混合判别属性-对象嵌入（HDA-OE）网络。为增加训练数据的可变性，HDA-OE 引入属性驱动数据合成（ADDS）模块。ADDS 通过组合同一对象的多个属性来生成具有多样化属性标签的新样本。通过扩大数据集中的属性空间，该模型被鼓励学习和区分属性之间的细微差异。进一步提高模型的判别能力，HDA-OE 引入子类驱动判别嵌入（SDDE）模块，通过以细粒度方式嵌入子类信息来增强编码器的子类判别能力，帮助捕获属性与对象视觉特征之间的复杂依赖关系。在三个基准数据集上对所提模型进行了评估，结果验证了其有效性和可靠性。
引用
@article{arxiv.2412.00121,
title = {Hybrid Discriminative Attribute-Object Embedding Network for Compositional Zero-Shot Learning},
author = {Yang Liu and Xinshuo Wang and Jiale Du and Xinbo Gao and Jungong Han},
journal= {arXiv preprint arXiv:2412.00121},
year = {2024}
}