FaDIV-Syn：基于软掩码与隐式混合的快速深度无关视图合成
计算机视觉与模式识别
2022-05-16 v3
摘要
新视角合成在许多机器人应用中是必需的，例如VR遥操作与场景重建。现有方法在这些场景中常过慢、无法处理动态场景，并受限于其显式深度估计阶段，其中不正确的深度预测会导致大的投影误差。我们提出的方法在实时流式数据上运行，并通过将输入图像高效扭曲至目标帧的一系列假设深度平面来避免显式深度估计。所得的平面扫描体（PSV）直接送入我们的网络，其首先以自监督方式估计软PSV掩码，然后直接生成新输出视角。这提升了在透明、反射、薄及无特征场景部分上的效率与性能。FaDIV-Syn能以实时在540p下执行插值与外推任务，并在大规模RealEstate10k数据集上优于最先进的外推方法。我们彻底评估了消融，例如移除软掩码网络、以更少样本训练以及对更高分辨率与更强深度离散化的泛化。我们的实现已公开。
引用
@article{arxiv.2106.13139,
title = {FaDIV-Syn: Fast Depth-Independent View Synthesis using Soft Masks and Implicit Blending},
author = {Andre Rochow and Max Schwarz and Michael Weinmann and Sven Behnke},
journal= {arXiv preprint arXiv:2106.13139},
year = {2022}
}
备注
Accepted to Robotics: Science and Systems (RSS) 2022