基于判别区域的多元零样本学习
计算机视觉与模式识别
2021-08-23 v1
摘要
多元零样本学习（ZSL）是标准单标签 ZSL 更现实的对应形式，因为自然图像中可共存多个物体。然而，多个物体的出现使推理复杂化，并需要对视觉特征进行区域特定的处理以保留其上下文线索。我们注意到，现有最佳的多元 ZSL 方法采用共享方式，用一组对所有类别共同的注意力图来关注区域特征。这种共享映射导致注意力扩散，在类别数量较大时无法判别性地聚焦于相关位置。此外，将空间池化的视觉特征映射到类别语义会导致类间特征纠缠，从而妨碍分类。在此，我们提出一种基于区域且保持判别性的多元零样本分类替代方法。我们的方法保持空间分辨率以保留区域级特征，并利用双级注意力模块（BiAM）通过融合区域与场景上下文信息来丰富特征。随后将丰富的区域级特征映射到类别语义，仅将其类别预测进行空间池化以获得图像级预测，从而保持多类特征不纠缠。我们的方法在两个大规模多元零样本基准 NUS-WIDE 和 Open Images 上确立了新的最优水平。在 NUS-WIDE 上，相比已发表的最佳结果，我们的方法在 ZSL 上实现了 6.9% mAP 的绝对提升。
引用
@article{arxiv.2108.09301,
title = {Discriminative Region-based Multi-Label Zero-Shot Learning},
author = {Sanath Narayan and Akshita Gupta and Salman Khan and Fahad Shahbaz Khan and Ling Shao and Mubarak Shah},
journal= {arXiv preprint arXiv:2108.09301},
year = {2021}
}
备注
Accepted to ICCV 2021. Source code is available at https://github.com/akshitac8/BiAM