DynPoint：用于视图合成的动态神经点
计算机视觉与模式识别
2025-03-17 v5
摘要
神经辐射场的引入极大提升了单目视频视图合成的效果。然而，现有算法在处理无约束或长时段场景时面临困难，且针对每个新场景都需要大量的专属训练时间。为应对这些局限，我们提出 DynPoint，一种旨在实现无约束单目视频新视角快速合成的算法。DynPoint 不将场景全部信息编码为潜在表示，而是专注于预测相邻帧间的显式 3D 对应关系以实现信息聚合。具体而言，该对应预测通过跨帧的一致深度与场景流信息估计来完成。随后，利用所获对应关系，通过构建分层神经点云，将多参考帧的信息聚合至目标帧。所得框架能够对目标帧的期望视角实现快速且准确的视图合成。实验结果表明，相较先前方法，我们所提方法将训练时间显著加速——通常达一个数量级——同时取得可比的结果。此外，我们的方法在处理长时长视频时无需学习视频内容的正则表示，展现出较强的鲁棒性。
引用
@article{arxiv.2310.18999,
title = {DynPoint: Dynamic Neural Point For View Synthesis},
author = {Kaichen Zhou and Jia-Xing Zhong and Sangyun Shin and Kai Lu and Yiyuan Yang and Andrew Markham and Niki Trigoni},
journal= {arXiv preprint arXiv:2310.18999},
year = {2025}
}