用于零样本学习的双关系挖掘网络
计算机视觉与模式识别
2024-05-07 v1
摘要
零样本学习旨在通过将共享的语义知识（如属性）从可见类转移到不可见类来识别新类。近年来，基于注意力的方法通过空间注意力机制对齐视觉特征和属性，取得了显著进展。然而，这些方法仅在空间维度上探索视觉-语义关系，当不同属性共享相似注意力区域时可能导致分类模糊，且属性间的语义关系很少被讨论。为解决上述问题，我们提出了一种双关系挖掘网络（DRMN），以实现更有效的视觉-语义交互，并学习属性间的语义关系以进行知识迁移。具体地，我们引入了一个双注意力块（DAB）用于视觉-语义关系挖掘，通过多级特征融合丰富视觉信息，并利用空间注意力进行视觉到语义的嵌入。此外，利用属性引导的通道注意力来解耦纠缠的语义特征。对于语义关系建模，我们利用语义交互Transformer（SIT）增强图像间属性表示的泛化能力。另外，引入全局分类分支作为人类定义语义属性的补充，然后将结果与基于属性的分类相结合。大量实验表明，所提出的DRMN在三个标准零样本学习基准（CUB、SUN和AwA2）上取得了新的最先进性能。
引用
@article{arxiv.2405.03613,
title = {Dual Relation Mining Network for Zero-Shot Learning},
author = {Jinwei Han and Yingguo Gao and Zhiwen Lin and Ke Yan and Shouhong Ding and Yuan Gao and Gui-Song Xia},
journal= {arXiv preprint arXiv:2405.03613},
year = {2024}
}