NS3D：3D 物体与关系的神经符号接地
计算机视觉与模式识别
2023-03-24 v1 人工智能
摘要
在 3D 场景中接地物体属性与关系，是诸如视觉接地对话和具身操作等广泛人工智能任务的先决条件。然而，3D 领域的多变性带来了两个根本挑战：1）标注代价高昂，2）3D 接地语言的复杂性。因此，模型的关键需求是数据高效、能泛化到具有未见语义形式的不同数据分布与任务，以及能接地复杂语言语义（例如视点锚定与多物体指代）。为应对这些挑战，我们提出 NS3D，一个用于 3D 接地的神经符号框架。NS3D 通过利用大型语言到代码模型，将语言翻译为具有层次结构的程序。程序中的不同功能模块实现为神经网络。值得注意的是，NS3D 通过引入能有效推理高元关系（即多于两个物体间的关系）的功能模块，扩展了先前的神经符号视觉推理方法，而高元关系对复杂 3D 场景中物体的消歧至关重要。模块化与组合式架构使 NS3D 在 ReferIt3D 视点依赖任务（一个 3D 指代表达理解基准）上取得最先进结果。重要的是，NS3D 在数据高效与泛化设定下展现出显著提升的性能，并展示了对未见 3D 问答任务的零样本迁移。
引用
@article{arxiv.2303.13483,
title = {NS3D: Neuro-Symbolic Grounding of 3D Objects and Relations},
author = {Joy Hsu and Jiayuan Mao and Jiajun Wu},
journal= {arXiv preprint arXiv:2303.13483},
year = {2023}
}
备注
In CVPR 2023