样本高效的新视觉概念学习
计算机视觉与模式识别
2023-06-19 v1 人工智能
摘要
尽管视觉对象识别取得了进展，最先进的深度学习模型在少样本设定下仍难以有效识别新对象，该设定仅提供有限数量的样本。与人类擅长此类任务不同，这些模型往往无法利用实体间的已知关系来对这些对象得出结论。在本文中，我们展示将符号知识图谱整合进最先进的识别模型可实现一种用于有效少样本分类的新方法。在我们提出的神经-符号架构与训练方法中，知识图谱通过从小样本集中提取的额外关系得到增强，从而通过考虑互联实体的存在来提升其识别新对象的能力。与现有少样本分类器不同，我们展示这使得我们的模型不仅能够纳入对象，还可纳入抽象概念与可供性。知识图谱的存在也使得该方法可通过分析其中包含的关系来实现可解释性。我们通过实验表明，我们的方法在 COCO 数据集上优于当前最先进的少样本多标签分类方法，并在 Visual Genome 数据集上评估了抽象概念与可供性的添加效果。
引用
@article{arxiv.2306.09482,
title = {Sample-Efficient Learning of Novel Visual Concepts},
author = {Sarthak Bhagat and Simon Stepputtis and Joseph Campbell and Katia Sycara},
journal= {arXiv preprint arXiv:2306.09482},
year = {2023}
}