面向开放世界组合式零样本学习的图嵌入学习
计算机视觉与模式识别
2022-04-11 v3
摘要
组合式零样本学习（CZSL）旨在识别训练时见过的状态与物体视觉基元所未见过的组合。标准 CZSL 的一个问题在于假设已知测试时哪些未见的组合可用。本文中，我们克服该假设，在开放世界设定下工作：测试时不对组合空间施加限制，且搜索空间包含大量未见的组合。为解决此问题，我们提出一种基于两条原则的新方法——组合余弦图嵌入（Co-CGE）。首先，Co-CGE 通过图卷积神经网络对状态、物体及其组合之间的依赖关系建模。该图将信息从已见概念传播至未见概念，改进其表示。其次，由于并非所有未见组合都同等可行，而可行性较低的组合可能损害所学表示，Co-CGE 为每个未见组合估计一个可行性分数，将该分数用作基于余弦相似度损失中的间隔以及图邻接矩阵中的权重。实验表明，我们的方法在标准 CZSL 中取得了最先进的性能，同时在开放世界场景下优于以往方法。
引用
@article{arxiv.2105.01017,
title = {Learning Graph Embeddings for Open World Compositional Zero-Shot Learning},
author = {Massimiliano Mancini and Muhammad Ferjad Naeem and Yongqin Xian and Zeynep Akata},
journal= {arXiv preprint arXiv:2105.01017},
year = {2022}
}
备注
Accepted by T-PAMI in March, 2022. arXiv admin note: text overlap with arXiv:2101.12609