中文

零样本图像识别中元素级表示与推理:系统性综述

计算机视觉与模式识别 2024-11-27 v3

摘要

零样本图像识别(Zero-shot Image Recognition, ZSIR)旨在通过在看见域中从有限数据中学习通用知识,在未看见的域中进行识别与推理。ZSIR的核心在于构建输入视觉空间与目标语义空间之间的良好对齐映射,这一自下而上的范式受到人类观察世界过程的启发。近年来,ZSIR在从理论到算法设计,以及广泛应用方面取得了显著进展。然而,据我们所知,目前缺乏从元素级视角对ZSIR进行系统性综述,即学习数据中细粒度元素及其推理关联。为填补这一空白,本文彻底探讨了元素级ZSIR的最新进展,为其未来发展提供了坚实的基础。具体而言,我们首先将对象识别、组合识别和基础模型驱动的开放世界识别三个基本ZSIR任务整合为统一的元素级范式,并对主要方法进行详细的分类与分析。随后,我们总结了基准测试,涵盖技术实现、标准数据集及其他细节作为一个库。最后,我们勾勒了相关应用,讨论了关键挑战,并提出了潜在的未来方向。

关键词

引用

@article{arxiv.2408.04879,
  title  = {On the Element-Wise Representation and Reasoning in Zero-Shot Image Recognition: A Systematic Survey},
  author = {Jingcai Guo and Zhijie Rao and Zhi Chen and Song Guo and Jingren Zhou and Dacheng Tao},
  journal= {arXiv preprint arXiv:2408.04879},
  year   = {2024}
}

备注

20 pages, 6 figures, and 4 tables