基于点糍导引的高保真新视角合成
计算机视觉与模式识别
2025-02-19 v1
摘要
尽管近期在新视角合成（NVS）方面取得了进展，但从单一或稀疏观察生成高保真视角仍是重大挑战。现有基于点糍的 метод往往产生几何畸变 due to splatting 错误。而扩散方法利用丰富的 3D 先验实现更好的几何，但常常 suffer from texture hallucination（纹理幻觉）。本文引入SplatDiff—a 基于点糍的视频扩散模型，用于从单张图像合成高保真新视角。具体而言，我们提出一种对齐的合成策略，以精确控制目标视点和几何一致的视角合成。为缓解纹理幻觉，我们设计了纹理桥接模块，通过自适应特征融合实现高保真纹理生成。如此，SplatDiff 利用点糍和扩散的优势，生成几何一致且细节高保真的新视角。大量实验验证了SplatDiff 在单视图 NVS 中的最新性能。此外，无需额外训练，SplatDiff 在包括稀疏视图 NVS 和立体视频转换在内的多种任务上展现出惊人的零样性能。
引用
@article{arxiv.2502.12752,
title = {High-Fidelity Novel View Synthesis via Splatting-Guided Diffusion},
author = {Xiang Zhang and Yang Zhang and Lukas Mehl and Markus Gross and Christopher Schroers},
journal= {arXiv preprint arXiv:2502.12752},
year = {2025}
}