ZeroC：一种用于推理时零样本概念识别与获取的神经-符号模型
机器学习
2022-10-13 v3
摘要
人类具有以零样本方式识别和获取新颖视觉概念的显著能力。给定一个新概念关于先前学过的视觉概念及其关系的高层符号描述，人类无需看到任何示例即可识别新概念。此外，他们可以通过使用学过的视觉概念和关系解析和传递符号结构来获取新概念。在机器中赋予这些能力对于提升其在推理时的泛化能力至关重要。在这项工作中，我们引入了零样本概念识别与获取（ZeroC），一种能够以零样本方式识别和获取新概念的神经-符号架构。ZeroC 将概念表示为组成概念模型（作为节点）及其关系（作为边）的图。为了允许推理时组合，我们采用基于能量的模型（EBMs）来建模概念和关系。我们设计 ZeroC 架构使其允许概念的符号图结构与其对应的 EBM 之间的一一映射，这首次允许获取新概念、传递其图结构，并在推理时将其应用于分类和检测任务（甚至跨域）。我们介绍了使用 ZeroC 的学习和推理算法。我们在一个旨在探究零样本概念识别与获取的具有挑战性的网格世界数据集上评估 ZeroC，并展示了其能力。
引用
@article{arxiv.2206.15049,
title = {ZeroC: A Neuro-Symbolic Model for Zero-shot Concept Recognition and Acquisition at Inference Time},
author = {Tailin Wu and Megan Tjandrasuwita and Zhengxuan Wu and Xuelin Yang and Kevin Liu and Rok Sosič and Jure Leskovec},
journal= {arXiv preprint arXiv:2206.15049},
year = {2022}
}
备注
NeurIPS 2022; 28 pages, 9 figures