基于视频扩散先验的新视角外推
计算机视觉与模式识别
2024-11-22 v1
摘要
新视角合成领域由于辐射场方法的发展取得了显著进展。然而，大多数辐射场技术在新视角插值方面表现优异，而在新视角外推方面则表现较差，即合成的新视角远超观察到的训练视角。我们设计了ViewExtrapolator，一种利用Stable Video Diffusion（SVD）生成式先验进行新视角外推的技术方法。通过重新设计SVD去噪过程，ViewExtrapolator对辐射场渲染的易产生 artifacts 的视图进行细化处理，大幅提升了合成新视角的清晰度和真实感。ViewExtrapolator是一种通用的新视角外推器，可与各种类型的3D渲染一起工作，例如仅需单一视角或单目视频即可从点云渲染视图。此外，ViewExtrapolator无需对SVD进行微调，因而既数据高效又计算高效。大量实验表明，ViewExtrapolator在新视角外推方面具有优越性。项目页面：\url{https://kunhao-liu.github.io/ViewExtrapolator/}。
引用
@article{arxiv.2411.14208,
title = {Novel View Extrapolation with Video Diffusion Priors},
author = {Kunhao Liu and Ling Shao and Shijian Lu},
journal= {arXiv preprint arXiv:2411.14208},
year = {2024}
}