面向任意样本学习的属性原型网络
计算机视觉与模式识别
2022-04-05 v1
摘要
任意样本图像分类允许仅使用少量甚至零样本来识别新类别。对于零样本学习任务，视觉属性已被证明发挥着重要作用，而在少样本情形下，属性的作用尚未被充分探索。为了更好地将基于属性的知识从已见类迁移到未见类，我们认为具有集成属性定位能力的图像表示将有益于任意样本（即零样本和少样本）图像分类任务。为此，我们提出一种新颖的表示学习框架，仅使用类级属性联合学习判别性的全局与局部特征。视觉-语义嵌入层学习全局特征，而局部特征通过一个属性原型网络从中间特征中同时回归并去相关化属性来学习。此外，我们引入一个放大模块来定位并裁剪信息区域，以鼓励网络显式学习信息性特征。我们表明，我们这种局部性增强的图像表示在具有挑战性的基准（即 CUB、AWA2 和 SUN）上达到了新的 SOTA。作为额外优势，我们的模型能指出图像中属性的视觉证据，证实了我们图像表示改进的属定位能力。属性定位通过真实部件标注进行定量评估、通过可视化进行定性评估，并通过精心设计的用户研究进行验证。
引用
@article{arxiv.2204.01208,
title = {Attribute Prototype Network for Any-Shot Learning},
author = {Wenjia Xu and Yongqin Xian and Jiuniu Wang and Bernt Schiele and Zeynep Akata},
journal= {arXiv preprint arXiv:2204.01208},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2008.08290