基于提问学习的知识驱动新物体识别
计算机视觉与模式识别
2022-10-13 v1
摘要
在真实世界的物体识别中,存在大量待识别的物体类别。基于监督学习的传统图像识别只能识别训练数据中存在的物体类别,因此在真实世界中适用性有限。另一方面,人类可以通过提问并获取关于物体的知识来识别新物体。受此启发,我们研究一种通过问题生成获取外部知识的框架,以帮助模型即时识别新物体。我们的流程包含两个组件:执行基于知识的物体识别的物体分类器,以及生成知识感知问题以获取新知识的提问生成器。我们还提出了一种基于物体分类器知识感知预测置信度的提问生成策略。为训练提问生成器,我们构建了一个包含图像中物体相关知识感知问题的数据集。实验表明,与多个基线相比,所提流程能有效获取新物体的知识。
引用
@article{arxiv.2210.05879,
title = {Learning by Asking Questions for Knowledge-based Novel Object Recognition},
author = {Kohei Uehara and Tatsuya Harada},
journal= {arXiv preprint arXiv:2210.05879},
year = {2022}
}