UFD-PRiME：基于像素级刚体运动估计的光流与立体深度无监督联合学习
计算机视觉与模式识别
2023-10-10 v1 机器人学
摘要
光流与立体视差均为图像匹配，因此可受益于联合训练。深度与三维运动提供几何而非光度信息，可进一步改善光流。据此，我们设计了一个首先联合估计光流与视差并以无监督方式训练的网络。第二个网络以第一个网络的光流作为伪标签，接收第一个网络的视差，估计每个像素处的三维刚体运动，并再次重建光流。最后阶段融合两个网络的输出。与以往仅考虑相机运动的方法不同，我们的方法还估计动态物体的刚体运动，而这正是应用中的关键关注点。这带来了更好的光流，其遮挡区域与物体边界明显更具细节。我们的无监督流程在 KITTI-2015 基准上取得 7.36% 的光流误差，大幅优于先前最优的 9.38%。它亦取得略优或相当的立体深度结果。代码将公开。
引用
@article{arxiv.2310.04712,
title = {UFD-PRiME: Unsupervised Joint Learning of Optical Flow and Stereo Depth through Pixel-Level Rigid Motion Estimation},
author = {Shuai Yuan and Carlo Tomasi},
journal= {arXiv preprint arXiv:2310.04712},
year = {2023}
}