醉汉的里程计:形变场景中相机运动的估计
计算机视觉与模式识别
2023-06-30 v1 机器学习
机器人学
摘要
在可形变场景中估计相机运动是一个复杂且开放的研究挑战。大多数现有的非刚性运动恢复结构技术假设除形变场景部分外还能观测到静态场景部分,以建立锚定参考。然而,在诸如内窥镜等某些相关应用情形中该假设不成立。处理最具挑战性的探索性轨迹情形的可形变里程计与 SLAM 流水线,缺乏鲁棒性以及恰当的定量评估方法。为以通用基准应对此问题,我们引入 Drunkard's Dataset,一个针对可形变环境中视觉导航与重建的具有挑战性的合成数据集合。该数据集是首个在 3D 场景内包含地面真值的探索性相机轨迹大规模集合,其中每个表面随时间展现非刚性形变。在逼真 3D 建筑中的仿真使我们获得大量数据与地面真值标签,包括相机位姿、RGB 图像与深度、光流以及高分辨率高质量的法线图。我们进一步提出一种新颖的可形变里程计方法,称为 Drunkard's Odometry,它将光流估计分解为刚体相机运动与非刚性场景形变。为验证我们的数据,我们的工作包含对若干基线的评估以及一种不需地面真值数据的新型跟踪误差度量。数据集与代码:https://davidrecasens.github.io/TheDrunkard'sOdometry/
引用
@article{arxiv.2306.16917,
title = {The Drunkard's Odometry: Estimating Camera Motion in Deforming Scenes},
author = {David Recasens and Martin R. Oswald and Marc Pollefeys and Javier Civera},
journal= {arXiv preprint arXiv:2306.16917},
year = {2023}
}