面向零样本学习的区域语义对齐网络
计算机视觉与模式识别
2021-10-15 v1 机器学习
摘要
零样本学习（ZSL）旨在基于已见类的知识来识别未见类。先前的方法侧重于学习从全局特征到语义空间的直接嵌入，希望将知识从已见类迁移到未见类。然而，一个未见类与一组已见类共享局部视觉特征，而利用全局视觉特征会使知识迁移失效。为解决该问题，我们提出了一种区域语义对齐网络（RSAN），它将未见类的局部特征映射到其语义属性。我们并非使用由图像编码器后的平均池化层获得的全局特征，而是直接利用保持了图像局部信息的图像编码器输出。具体而言，我们从输出的特定区域获取每个属性，并利用这些属性进行识别。因此，已见类的知识能够以基于区域的方式成功迁移到未见类。此外，我们通过语义知识进行属性回归来正则化图像编码器，以提取鲁棒且与属性相关的视觉特征。在多个标准 ZSL 数据集上的实验揭示了所提 RSAN 方法的优势，其性能优于当前最先进的方法。
引用
@article{arxiv.2110.07130,
title = {Region Semantically Aligned Network for Zero-Shot Learning},
author = {Ziyang Wang and Yunhao Gou and Jingjing Li and Yu Zhang and Yang Yang},
journal= {arXiv preprint arXiv:2110.07130},
year = {2021}
}
备注
Accepted to CIKM 2021