面向零样本学习的属性定位与修正网络
计算机视觉与模式识别
2023-10-12 v1
摘要
零样本学习（zero-shot learning）借助属性等辅助语义信息使模型能够识别未见过的类别。现有工作提出从局部图像区域检测属性，并将提取的特征与类级语义对齐。本文中，我们发现局部特征与全局特征之间的选择并非零和博弈，全局特征同样有助于对属性的理解。此外，将属性特征与类级语义对齐忽略了潜在的类内属性变化。为缓解这些不足，本文提出属性定位与修正网络（Attribute Localization and Revision Network）。首先，我们设计属性定位模块（ALM）以从图像区域捕获局部和全局特征，并引入称为尺度控制单元的新模块来融合全局与局部表示。其次，我们提出属性修正模块（ARM），通过修正每个属性的真值生成图像级语义，补偿因忽略类内变化导致的性能下降。最后，ALM的输出将与ARM生成的修正语义对齐以完成训练过程。在三个广泛使用的基准上的综合实验结果证明了我们的模型在零样本预测任务中的有效性。
引用
@article{arxiv.2310.07548,
title = {Attribute Localization and Revision Network for Zero-Shot Learning},
author = {Junzhe Xu and Suling Duan and Chenwei Tang and Zhenan He and Jiancheng Lv},
journal= {arXiv preprint arXiv:2310.07548},
year = {2023}
}