面向无偏多标签零样本学习的金字塔与语义注意力方法
计算机视觉与模式识别
2022-03-08 v1
摘要
多标签零样本学习将传统的单标签零样本学习扩展到更现实的场景，旨在识别每个输入样本多个未见类标签。现有工作通常利用注意力机制生成不同标签之间的相关性。然而，它们大多偏向于几个主要类别，而忽略输入样本中同等重要的多数次要类别，从而可能导致注意力图过度扩散，无法充分覆盖次要类别。我们认为，忽略主要类别与次要类别（分别对应全局与局部信息）之间的联系是问题的根源。本文提出一种新颖的无偏多标签零样本学习框架，通过考虑各类别特定区域来校准分类器的训练过程。具体而言，提出金字塔特征注意力（PFA）以建立样本全局与局部信息之间的关联，从而平衡每个类别的出现。同时，对于输入样本生成的语义表示，我们提出语义注意力（SA）以增强这些向量间的逐元素关联，从而促进它们的协同表示。在大规模多标签零样本基准 NUS-WIDE 和 Open-Image 上的大量实验表明，所提方法以显著优势超越其他代表性方法。
引用
@article{arxiv.2203.03483,
title = {Towards Unbiased Multi-label Zero-Shot Learning with Pyramid and Semantic Attention},
author = {Ziming Liu and Song Guo and Jingcai Guo and Yuanyuan Xu and Fushuo Huo},
journal= {arXiv preprint arXiv:2203.03483},
year = {2022}
}