WS-SfMLearner:面向未知相机参数的手术视频自监督单目深度与自运动估计
计算机视觉与模式识别
2024-02-07 v2 人工智能
图像与视频处理
摘要
手术视频中的深度估计在许多图像引导手术流程中起着关键作用。然而,由于手术场景中亮度不一致与噪声,在手术视频中创建深度图真值数据集困难且耗时。因此,构建准确且鲁棒的自监督深度与相机自运动估计系统正获得计算机视觉界越来越多的关注。尽管若干自监督方法缓解了对深度图与位姿真值的需求,它们仍需要已知的相机内参,而这些参数常缺失或未记录。此外,现有工作中的相机内参预测方法严重依赖数据集质量。本工作中,我们旨在构建一套自监督深度与自运动估计系统,其不仅能预测准确的深度图与相机位姿,还能预测相机内参。我们提出一种基于代价体积的监督方式,为系统提供相机参数预测的辅助监督。实验结果表明,所提方法提升了估计相机参数、自运动与深度估计的精度。
引用
@article{arxiv.2308.11776,
title = {WS-SfMLearner: Self-supervised Monocular Depth and Ego-motion Estimation on Surgical Videos with Unknown Camera Parameters},
author = {Ange Lou and Jack Noble},
journal= {arXiv preprint arXiv:2308.11776},
year = {2024}
}
备注
Accepted by SPIE 2024