RelPose++：从稀疏视角观测恢复6D位姿
计算机视觉与模式识别
2023-12-19 v2
摘要
我们解决从稀疏视角图像集（2-8张图像）估计6D相机位姿的任务。该任务是几乎所有当代（神经）重建算法的关键预处理阶段，但在稀疏视角下仍具挑战性，尤其对于具有视觉对称性和无纹理表面的物体。我们基于近期的RelPose框架，其学习一个推断图像对间相对旋转分布的网络。我们从两个关键方式扩展该方法：首先，我们使用注意力transformer层联合处理多张图像，因为物体的额外视角可解决任意给定图像对中的模糊对称性（如第三视角中变得可见的杯柄）。其次，我们通过定义适当坐标系将旋转估计的模糊性与平移预测解耦，从而扩充该网络以同时报告相机平移。我们的最终系统在已见和未见物体类别上的6D位姿预测均大幅优于先前方法，并支持对真实场景物体的位姿估计与3D重建。
引用
@article{arxiv.2305.04926,
title = {RelPose++: Recovering 6D Poses from Sparse-view Observations},
author = {Amy Lin and Jason Y. Zhang and Deva Ramanan and Shubham Tulsiani},
journal= {arXiv preprint arXiv:2305.04926},
year = {2023}
}
备注
Project webpage: https://amyxlase.github.io/relpose-plus-plus (Accepted to 3DV 2024)