单目动态视图合成：一项现实检验
计算机视觉与模式识别
2022-10-25 v1
摘要
我们研究了基于单目视频的动态视图合成（DVS）的近期进展。尽管现有方法已展示出令人印象深刻的结果，我们揭示了实际采集过程与现有实验协议之间的偏差，该偏差在训练期间有效地泄漏了多视图信号。我们定义了有效多视图因子（EMFs），基于相对的相机-场景运动来量化输入采集序列中存在的多视图信号量。我们引入了两个新指标：共可见性掩码图像指标与对应精度，它们克服了现有协议中的问题。我们还提出了一个新的 iPhone 数据集，包含更多样的真实生活形变序列。使用我们提出的实验协议，我们表明最先进的方法在缺乏多视图线索时掩码 PSNR 下降 1-2 dB，在建模复杂运动时下降 4-5 dB。代码与数据可在 https://hangg7.com/dycheck 找到。
引用
@article{arxiv.2210.13445,
title = {Monocular Dynamic View Synthesis: A Reality Check},
author = {Hang Gao and Ruilong Li and Shubham Tulsiani and Bryan Russell and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2210.13445},
year = {2022}
}
备注
NeurIPS 2022. Project page: https://hangg7.com/dycheck. Code: https://github.com/KAIR-BAIR/dycheck