PS4PRO：用于照片级真实感渲染与优化的像素到像素监督
计算机视觉与模式识别
2025-05-29 v1 图像与视频处理
摘要
神经渲染方法因能够从 2D 图像重建 3D 场景而受到广泛关注。其核心思想是将多个视角作为输入，通过最小化各视角间几何与外观的不确定性来优化重建场景。然而，重建质量受限于输入视角的数量。这种限制在复杂和动态场景中更为明显，其中物体的某些角度从未被观察到。在本文中，我们提出使用视频帧插值作为神经渲染的数据增强方法。此外，我们设计了一个轻量且高质量的视频帧插值模型 PS4PRO（用于照片级真实感渲染与优化的像素到像素监督）。PS4PRO 在多样化的视频数据集上进行训练，隐式地对摄像机运动以及真实世界的 3D 几何进行建模。我们的模型作为隐式世界先验，丰富了 3D 重建的照片监督。通过利用所提出的方法，我们有效地扩充了用于神经渲染方法的现有数据集。我们的实验结果表明，我们的方法提高了在静态和动态场景上的重建性能。
引用
@article{arxiv.2505.22616,
title = {PS4PRO: Pixel-to-pixel Supervision for Photorealistic Rendering and Optimization},
author = {Yezhi Shen and Qiuchen Zhai and Fengqing Zhu},
journal= {arXiv preprint arXiv:2505.22616},
year = {2025}
}
备注
Accepted to the CVPR 2025 Workshop on Autonomous Driving (WAD)