任务无关知识造就广义零样本学习的可迁移表征
计算机视觉与模式识别
2021-04-06 v1 人工智能
摘要
广义零样本学习（GZSL）旨在通过学习的可迁移图像表征来识别新类别。现有方法发现，通过将图像表征与相应语义标签对齐，语义对齐的表征可迁移至未见类别。然而，仅在所见类别标签监督下，所学语义知识高度任务特定，使得图像表征偏向所见类别。本文提出一种新颖的双对比嵌入网络（DCEN），通过语义对齐和实例判别同时学习任务特定与任务无关知识。首先，DCEN利用任务标签通过跨模态对比学习和探索语义-视觉互补性来聚类同一语义类别的表征。除任务特定知识外，DCEN进而通过吸引同一图像不同视图的表征并排斥不同图像的表征来引入任务无关知识。相较于高层所见类别监督，该实例判别监督促使DCEN捕获低层视觉知识，其较少偏向所见类别并缓解表征偏置。因此，任务特定与任务无关知识共同造就DCEN的可迁移表征，在四个公开基准上取得平均4.1%的提升。
引用
@article{arxiv.2104.01832,
title = {Task-Independent Knowledge Makes for Transferable Representations for Generalized Zero-Shot Learning},
author = {Chaoqun Wang and Xuejin Chen and Shaobo Min and Xiaoyan Sun and Houqiang Li},
journal= {arXiv preprint arXiv:2104.01832},
year = {2021}
}
备注
Accepted at AAAI2021