基于多模态嵌入空间分类器集成的广义零样本学习
计算机视觉与模式识别
2019-08-07 v1
摘要
广义零样本学习（GZSL）方法旨在利用各类别的语义信息对先前见过与未见过的视觉类别进行分类。在 GZSL 语境下，语义信息指非视觉数据，例如对已见与未见类别的文本描述。以往的 GZSL 方法利用了视觉与语义嵌入空间之间的变换，以及包含视觉与语义信息的联合空间的学习。无论哪种情况，分类都是在单一学习到的空间上进行的。我们认为，每个嵌入空间都包含针对 GZSL 问题的互补信息。仅使用视觉、语义或联合空间，某些信息不可避免地会丢失。本文中，我们展示了结合视觉、语义与联合空间分类的新 GZSL 方法的优势。最重要的是，该集成使得分类过程中能看到更多来自源域的信息。我们工作的另一贡献是将校准流程应用于集成中每个分类器。该校准缓解了组合分类器时的模型选择问题。最后，我们所提方法在 CUB、AWA1 与 AWA2 基准数据集上取得了 SOTA 结果，并在 SUN 数据集上提供了具竞争力的性能。
引用
@article{arxiv.1908.02013,
title = {Generalised Zero-Shot Learning with a Classifier Ensemble over Multi-Modal Embedding Spaces},
author = {Rafael Felix and Ben Harwood and Michele Sasdelli and Gustavo Carneiro},
journal= {arXiv preprint arXiv:1908.02013},
year = {2019}
}