利用常识知识进行部分场景中的物体定位
计算机视觉与模式识别
2022-11-02 v1
摘要
我们提出一种端到端方案来解决部分场景中的物体定位问题，目标是仅给定场景的部分 3D 扫描，估计未知区域中物体的位置。我们提出一种新颖的场景表示以促进几何推理——有向空间常识图（D-SCG），这是一种空间场景图，通过来自常识知识库的额外概念节点得以增强。具体而言，D-SCG 的节点表示场景物体，边表示它们的相对位置。每个物体节点随后通过不同的常识关系连接到一组概念节点。借助所提出的基于图的场景表示，我们使用图神经网络估计目标物体的未知位置，该网络实现了一种新颖的注意力消息传递机制。网络首先通过学习 D-SCG 中物体节点和概念节点的丰富表示，预测目标物体与每个可见物体之间的相对位置。这些相对位置随后被合并以获得最终位置。我们使用 Partial ScanNet 评估我们的方法，在定位精度上以 8 倍更快的训练速度将最先进水平（SOTA）提升了 5.9%。
引用
@article{arxiv.2211.00562,
title = {Leveraging commonsense for object localisation in partial scenes},
author = {Francesco Giuliari and Geri Skenderi and Marco Cristani and Alessio Del Bue and Yiming Wang},
journal= {arXiv preprint arXiv:2211.00562},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2203.05380