动感中的PAPR：无监督的点级3D场景插值
计算机视觉与模式识别
2024-06-11 v1 人工智能
图形学
机器学习
摘要
我们提出了点级3D场景插值的问题，旨在从多个视角同时重建两个状态下的3D场景，合成它们之间的平滑点级插值，并从新视角渲染场景，完全无需监督。 主要挑战在于实现状态之间平滑的过渡，这些状态可能涉及显著且非刚性的变化。 为了应对这些挑战，我们引入了"PAPR in Motion"，这是一种新方法，基于最近的Proximity Attention Point Rendering（PAPR）技术，该技术可以将点云变形以匹配显著不同的形状，并在非刚性变形后渲染出视觉连贯的场景。 我们的方法专为维持几何结构的时间一致性而设计，通过引入各种正则化技术来实现PAPR。 结果是一种能有效桥接大规模场景变化并在几何和外观上产生视觉连贯和时间平滑插值的有效方法。 在多样化运动类型上的评估表明，"PAPR in Motion"在动态场景中优于领先的神经渲染器。 有关更多结果和代码，请访问我们的项目网站：https://niopeng.github.io/PAPR-in-Motion/。
引用
@article{arxiv.2406.05533,
title = {PAPR in Motion: Seamless Point-level 3D Scene Interpolation},
author = {Shichong Peng and Yanshu Zhang and Ke Li},
journal= {arXiv preprint arXiv:2406.05533},
year = {2024}
}