面向零样本学习的鲁棒视觉-语义映射学习

零样本学习（ZSL）旨在利用从已见类迁移的知识来识别未见类样本（如图像）。这通常通过利用已见类与未见类共享的语义特征空间（如属性或词向量）作为桥梁来实现。在 ZSL 中，通常的做法是用有标签的已见类样本训练视觉与语义特征空间之间的映射函数。推断时，给定未见类样本，复用所学映射函数，并依据其语义关系在某些度量下识别类标签。然而，视觉与语义特征空间一般是独立的且存在于完全不同的流形中。在此范式下，ZSL 模型在构建与复用映射函数时易遭受域偏移问题，这成为 ZSL 的主要挑战。本论文探索缓解域偏移问题并学习视觉与语义特征空间间鲁棒映射函数的有效途径。我们聚焦于充分赋能语义特征空间，其为 ZSL 的关键构建模块之一。综上，本论文旨在充分赋能语义特征空间并设计有效方案以缓解域偏移问题，从而为零样本学习获得更鲁棒的视觉-语义映射函数。在多个数据集上的大量实验证明了我们所提方法的有效性。