将注意力作为解耦器用于组合零样本学习
计算机视觉与模式识别
2023-03-28 v1 人工智能
摘要
组合零样本学习（CZSL）旨在从已见组合中学习视觉概念（即属性和对象），并将概念知识组合为未见组合。CZSL 的关键在于学习属性-对象组合的解耦。为此，我们提出利用交叉注意力作为组合解耦器来学习解耦的概念嵌入。例如，若想识别未见组合“黄色的花”，我们可以分别从不同的黄色物体和不同的花中学习属性概念“黄色”和对象概念“花”。为进一步约束解耦器学习感兴趣的概念，我们在注意力层级引入正则化。具体而言，我们在交叉注意力模块中采用推土机距离（EMD）作为特征相似性度量。此外，得益于概念解耦，我们改进了推理过程，并通过组合多个概念概率来调整预测分数。在三个 CZSL 基准数据集上的综合实验表明，我们的方法在封闭世界和开放世界设定下均显著优于以往工作，建立了新的 SOTA。
引用
@article{arxiv.2303.15111,
title = {Learning Attention as Disentangler for Compositional Zero-shot Learning},
author = {Shaozhe Hao and Kai Han and Kwan-Yee K. Wong},
journal= {arXiv preprint arXiv:2303.15111},
year = {2023}
}
备注
CVPR 2023, available at https://haoosz.github.io/ade-czsl/