RelPose：为野外单物体预测概率性相对旋转
计算机视觉与模式识别
2022-10-04 v2 机器学习
摘要
我们描述一种数据驱动方法，用于在给定任意物体多幅图像时推断相机视点。该任务是SfM与SLAM等经典几何流水线以及当代神经方法(如NeRF)用于物体重建与视点合成的重要预处理需求。与现有在稀疏视角下表现不佳的对应驱动方法不同，我们提出一种基于自顶向下预测的估计相机视点方法。我们的关键技术洞见是使用基于能量的公式表示相对相机旋转上的分布，从而显式表示由物体对称性或视角产生的多相机模态。利用这些相对预测，我们从多幅图像联合估计一组一致的相机旋转。我们展示在稀疏图像下，我们的方法在已见与未见类别上均优于最先进的SfM与SLAM方法。此外，我们的概率方法显著优于直接回归相对位姿，表明建模范化对连贯联合重建十分重要。我们证明我们的系统可成为从多视数据集进行野外重建的垫脚石。含代码与视频的项目页面见https://jasonyzhang.com/relpose。
引用
@article{arxiv.2208.05963,
title = {RelPose: Predicting Probabilistic Relative Rotation for Single Objects in the Wild},
author = {Jason Y. Zhang and Deva Ramanan and Shubham Tulsiani},
journal= {arXiv preprint arXiv:2208.05963},
year = {2022}
}
备注
In ECCV 2022. V2: updated references