分类器定制：将你的卷积网络变为零样本学习器！

在零样本学习（ZSL）中，我们利用关于未见类别在被观测时预期外观的文本描述（类嵌入）以及一个不相交的已见类别池（其带标注视觉数据可获取）来对未见类别分类。我们通过将“ vanilla”卷积神经网络（如 AlexNet、ResNet-101、DenseNet-201 或 DarkNet-53）转变为零样本学习器来解决 ZSL。我们通过定制 softmax 分类器来实现：使用固定的已见分类规则（语义的（已见类嵌入）或视觉的（已见类原型））冻结其权重。然后，我们仅在已见类别上学习数据驱动且面向 ZSL 的特征表示以匹配这些固定分类规则。鉴于后者可无缝泛化至未见类别，且无需实际未见数据来计算，我们可通过在测试时扩充分类规则池同时保持我们所学的同一表示来进行 ZSL 推断：不对未见数据执行任何重新训练或微调。语义与视觉定制的结合（通过简单平均 softmax 分数）在标准、归纳式 ZSL 的基准数据集上改进了先前最先进方法。在重新平衡预测以更好处理已见与未见类别上的联合推断后，我们也优于先前的广义、归纳式 ZSL 方法。此外，我们通过按原样使用神经注意力方法（如 grad-CAM）免费获得了可解释性。代码将公开提供。