使用稠密相关体进行极端旋转估计
计算机视觉与模式识别
2021-07-20 v2
摘要
我们提出了一种在极端设置下估计 RGB 图像对相对 3D 旋转的技术，其中图像之间几乎没有或完全没有重叠。我们观察到，即使图像不重叠，也可能存在关于其几何关系的丰富隐藏线索，例如光源方向、消失点和场景中存在的对称性。我们提出了一种网络设计，可通过比较两张输入图像之间所有点对来自动学习此类隐式线索。因此，我们的方法构建稠密特征相关体并处理这些相关体以预测相对 3D 旋转。我们的预测在精细离散化的旋转上形成，从而规避了回归 3D 旋转相关的困难。我们在大量多样的极端 RGB 图像对上展示了我们的方法，包括在不同光照条件和地理位置下捕获的室内与室外图像。我们的评估表明，我们的模型能够成功估计非重叠图像之间的相对旋转，且不会在重叠图像对上牺牲性能。
引用
@article{arxiv.2104.13530,
title = {Extreme Rotation Estimation using Dense Correlation Volumes},
author = {Ruojin Cai and Bharath Hariharan and Noah Snavely and Hadar Averbuch-Elor},
journal= {arXiv preprint arXiv:2104.13530},
year = {2021}
}
备注
Published in CVPR 2021; Project page: https://ruojincai.github.io/ExtremeRotation/