U-ARE-ME: 曼哈顿环境中的不确定性感知旋转估计
计算机视觉与模式识别
2024-03-26 v1
摘要
从单张图像估计相机旋转是一项具有挑战性的任务，通常需要深度数据和/或相机内参，而这些对于非受控视频通常不可用。虽然惯性测量单元（IMU）等外部传感器可以提供帮助，但它们常常受到漂移的影响，并且不适用于非惯性参考系。我们提出U-ARE-ME，一种从未标定的RGB图像中估计相机旋转及其不确定性的算法。利用曼哈顿世界假设，我们的方法利用单图像表面法线预测中编码的逐像素几何先验，并在SO(3)流形上进行优化。给定一个图像序列，我们可以使用每帧的旋转估计及其不确定性来执行多帧优化，从而实现鲁棒性和时间一致性。我们的实验表明，U-ARE-ME的性能可与RGB-D方法相媲美，并且比基于稀疏特征的SLAM方法更鲁棒。我们鼓励读者观看随附视频（https://callum-rhodes.github.io/U-ARE-ME），以获取我们方法的可视化概述。
引用
@article{arxiv.2403.15583,
title = {U-ARE-ME: Uncertainty-Aware Rotation Estimation in Manhattan Environments},
author = {Aalok Patwardhan and Callum Rhodes and Gwangbin Bae and Andrew J. Davison},
journal= {arXiv preprint arXiv:2403.15583},
year = {2024}
}
备注
For the project page and video see https://callum-rhodes.github.io/U-ARE-ME