SfM-TTR：利用运动恢复结构进行单视图深度网络的测试时精化
计算机视觉与模式识别
2023-04-03 v2
摘要
从单视图估计稠密深度图在几何上是不适定的，当前最优方法依赖深度神经网络学习深度与视觉外观的关系。另一方面，运动恢复结构（SfM）利用多视图约束生成非常精确但稀疏的地图，因为跨图像匹配通常受限于局部判别性纹理。本文结合两种方法的优势，提出一种新颖的测试时精化（TTR）方法，记为 SfM-TTR，其在测试时利用 SfM 多视图线索提升单视图深度网络的性能。具体而言，与现有方法不同，我们使用稀疏 SfM 点云作为测试时自监督信号，微调网络编码器以学习测试场景的更好表征。我们的结果显示，将 SfM-TTR 添加至多个最优自监督与有监督网络可显著提升其性能，优于主要基于光度多视图一致性的先前 TTR 基线。代码见 https://github.com/serizba/SfM-TTR。
引用
@article{arxiv.2211.13551,
title = {SfM-TTR: Using Structure from Motion for Test-Time Refinement of Single-View Depth Networks},
author = {Sergio Izquierdo and Javier Civera},
journal= {arXiv preprint arXiv:2211.13551},
year = {2023}
}