小相机运动视频的动态视图合成
计算机视觉与模式识别
2025-07-01 v1
摘要
动态3D场景的新视图合成是一项重大挑战。许多著名方法采用NeRF-based方法以取得亮眼效果。然而，这些方法高度依赖输入图像或视频中的足够视差。当相机运动范围受限甚至静止（即小相机运动）时，现有方法会遭遇两个主要挑战：场景几何表示不正确以及相机参数估计不准。这些挑战使得先前方法难以产生满意的结果，甚至无法使用。为解决第一个挑战，我们提出一种新颖的基于分布的深度正则化（DDR），确保渲染权重分布与真实分布一致。具体而言，与之前使用深度损失计算期望值误差不同，我们采用Gumbel-softmax对离散渲染权重分布进行可微分采样，以计算误差的期望。此外，我们引入约束，确保沿射线到达物体边界前的空间点体积密度接近零，从而确保模型学习正确的场景几何。为解构DDR，我们进一步提出一种可视化工具，使我们能够在渲染权重层面观察场景几何表示。针对第二个挑战，我们在训练期间融入相机参数学习，以增强模型对相机参数的鲁棒性。我们进行大量实验以展示该方法在小相机运动输入下表示场景的有效性，结果在与最先进方法之间表现出色。
引用
@article{arxiv.2506.23153,
title = {Dynamic View Synthesis from Small Camera Motion Videos},
author = {Huiqiang Sun and Xingyi Li and Juewen Peng and Liao Shen and Zhiguo Cao and Ke Xian and Guosheng Lin},
journal= {arXiv preprint arXiv:2506.23153},
year = {2025}
}
备注
Accepted by TVCG