RIO：变化室内环境中的 3D 物体实例重定位
计算机视觉与模式识别
2019-08-20 v1
摘要
本文提出 3D 物体实例重定位（RIO）任务：给定 RGB-D 扫描中的一个或多个物体，我们希望在稍后同一环境拍摄的另一 3D 扫描中估计其对应的 6DoF 位姿。我们认为 RIO 是 3D 视觉中尤为重要的任务，因其支撑包括被要求于 3D 场景中寻找特定物体的 AI 助手或机器人等广泛应用。为解决这个问题，我们首先引入 3RScan——一个跨越多个时间步、包含 478 个环境的 1482 次 RGB-D 扫描的新型数据集与基准。每个场景包含若干位置随时间变化的物体，以及物体实例及其重扫描间相应 6DoF 映射的地面真值标注。由于部分观测变化与周围上下文改变，自动寻找 6DoF 物体位姿导致极具挑战的特征匹配任务。为此，我们提出一种新型数据驱动方法，利用在多空间尺度上运作的全卷积 3D 对应网络高效寻找匹配特征。结合 6DoF 位姿优化，我们的方法在新基准上优于 SOTA 基线，达到 30.58% 的准确率。
引用
@article{arxiv.1908.06109,
title = {RIO: 3D Object Instance Re-Localization in Changing Indoor Environments},
author = {Johanna Wald and Armen Avetisyan and Nassir Navab and Federico Tombari and Matthias Nießner},
journal= {arXiv preprint arXiv:1908.06109},
year = {2019}
}
备注
ICCV 2019 (Oral) video https://youtu.be/367CeZtrEYM