面向属性-目标对识别的关系感知组合式零样本学习
计算机视觉与模式识别
2021-08-24 v1 多媒体
摘要
本文提出了一种新颖的模型，用于识别具有复合属性-目标概念的图像，特别是针对在模型训练期间未见的复合概念。我们旨在探索该任务所需的三个关键特性——关系感知、一致性和解耦——以学习构成属性-目标对的基元概念的丰富且鲁棒的特征。为此，我们提出了阻塞消息传递网络 (Blocked Message Passing Network, BMP-Net)。该模型由两个模块组成。概念模块为基元概念生成具有语义意义的特征，而视觉模块从输入图像中提取属性和目标的视觉特征。概念模块中使用消息传递机制来捕获基元概念之间的关系。此外，为了防止模型偏向于已见的复合概念并减少属性与目标之间的纠缠，我们提出了一种阻塞机制，该机制使模型在已见和未见概念中可用的信息保持均等。在两个基准上的大量实验和消融研究证明了所提出模型的有效性。
引用
@article{arxiv.2108.04603,
title = {Relation-aware Compositional Zero-shot Learning for Attribute-Object Pair Recognition},
author = {Ziwei Xu and Guangzhi Wang and Yongkang Wong and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2108.04603},
year = {2021}
}
备注
Accepted by IEEE Transactions on Multimedia