利用图网络推断未见单/多属性-物体组合
计算机视觉与模式识别
2025-09-30 v3
摘要
推断未见属性-物体组合对于使机器学会像人一样分解和组合复杂概念至关重要。现有大多数方法局限于单属性-物体的组合识别，难以学习属性与物体之间的关系。本文提出一种属性-物体语义关联图模型，以学习复杂关系并实现基元间的知识迁移。该图以节点表示属性和物体，可灵活构建，从而实现单属性与多属性-物体组合识别。为减少相似组合（如划痕屏幕与破损屏幕）的误分类，在对比损失驱动下，将锚图像特征拉近对应标签特征并推离其他负标签特征。具体而言，提出一种新颖的平衡损失以缓解域偏置，即模型倾向于预测已见组合。此外，我们构建了一个大规模多属性数据集（MAD），包含116,099张图像和8,030个标签类别，用于推断未见多属性-物体组合。连同MAD，我们提出Hard和Soft两个新指标，以在多属性设定下给出全面评估。在MAD及另外两个单属性-物体基准（MIT-States和UT-Zappos50K）上的实验证明了我们方法的有效性。
引用
@article{arxiv.2010.14343,
title = {Learning to Infer Unseen Single-/Multi-Attribute-Object Compositions with Graph Networks},
author = {Hui Chen and Jingjing Jiang and Nanning Zheng},
journal= {arXiv preprint arXiv:2010.14343},
year = {2025}
}
备注
Acceptted by IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI)