SGAligner：基于场景图的 3D 场景对齐
计算机视觉与模式识别
2023-09-28 v2
摘要
构建 3D 场景图近来已成为若干具身 AI 应用中以结构化且丰富的方式表示世界的场景表示主题。随着其在解决下游任务（例如导航和房间重排）中使用的增加，我们能否利用并回收它们来创建环境的 3D 地图，这是智能体操作中的关键一步？我们关注对齐两对 3D 场景图这一基本问题，其重叠可从零到部分重叠，并可能包含任意变化。我们提出 SGAligner，这是首个对齐 3D 场景图对的方法，其对野外场景（即未知重叠——若有——以及环境变化）具有鲁棒性。我们从多模态知识图获得启发，并使用对比学习来学习一个联合的多模态嵌入空间。我们在 3RScan 数据集上评估，并进一步展示我们的方法可用于估计 3D 场景对之间的变换。由于这些任务缺乏基准，我们在该数据集上创建了它们。代码、基准和训练好的模型可在项目网站上获取。
引用
@article{arxiv.2304.14880,
title = {SGAligner : 3D Scene Alignment with Scene Graphs},
author = {Sayan Deb Sarkar and Ondrej Miksik and Marc Pollefeys and Daniel Barath and Iro Armeni},
journal= {arXiv preprint arXiv:2304.14880},
year = {2023}
}
备注
Accepted at ICCV 2023