MSDN:用于零样本学习的互语义蒸馏网络
计算机视觉与模式识别
2022-04-25 v2
摘要
零样本学习(ZSL)的关键挑战在于如何推断可见类别上视觉与属性特征间的潜在语义知识,从而实现对未见类别的理想知识迁移。先前工作要么简单地将图像全局特征与其类别语义向量对齐,要么利用单向注意力学习有限的潜在语义表示,无法有效发掘视觉与属性特征间的内在语义知识(如属性语义)。为解决上述困境,我们提出互语义蒸馏网络(MSDN),渐进式地蒸馏视觉与属性特征间的内在语义表示用于 ZSL。MSDN 包含一个学习基于属性的视觉特征的属性视觉注意力子网络,以及一个学习基于视觉的属性特征的视觉属性注意力子网络。通过进一步引入语义蒸馏损失,两个互注意力子网络能够在整个训练过程中协同学习并相互教导。所提 MSDN 相较强基线取得显著提升,在三个流行且具有挑战性的基准 CUB、SUN 和 AWA2 上达到新的 SOTA 性能。我们的代码已发布于:\url{https://github.com/shiming-chen/MSDN}。
引用
@article{arxiv.2203.03137,
title = {MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning},
author = {Shiming Chen and Ziming Hong and Guo-Sen Xie and Wenhan Yang and Qinmu Peng and Kai Wang and Jian Zhao and Xinge You},
journal= {arXiv preprint arXiv:2203.03137},
year = {2022}
}
备注
Accepted to CVPR'22