ID-Pose：通过反演扩散模型进行稀疏视角相机位姿估计
计算机视觉与模式识别
2023-12-01 v2
摘要
给定三维物体的稀疏视角，估计其相机位姿是一个长期存在且难解的问题。为此，我们考虑利用以视点为条件的新视角预训练扩散模型（Zero-1-to-3）。我们提出 ID-Pose，其通过反演去噪扩散过程，在给定两幅输入图像时估计相对位姿。ID-Pose 向一幅图像添加噪声，并以另一幅图像及相对位姿假设为条件预测该噪声。预测误差被用作最小化目标，通过梯度下降法寻找最优位姿。我们将 ID-Pose 扩展至处理多于两幅图像，并利用三角关系从多个图像对估计各点位姿。ID-Pose 无需训练且可泛化至开放世界图像。我们使用随意拍摄的照片及随机视点渲染图像进行了大量实验。结果表明 ID-Pose 显著优于当前最优方法。
引用
@article{arxiv.2306.17140,
title = {ID-Pose: Sparse-view Camera Pose Estimation by Inverting Diffusion Models},
author = {Weihao Cheng and Yan-Pei Cao and Ying Shan},
journal= {arXiv preprint arXiv:2306.17140},
year = {2023}
}
备注
Github: https://xt4d.github.io/id-pose-web/