Sphinx:基于回归引导的选择性细化高效服务新视角合成
计算机视觉与模式识别
2025-11-25 v1
摘要
新视角合成(NVS)是指从原始输入中未包含的视角位置生成新图像的任务。基于扩散的NVS能够生成高质量、在时间上一致的图像,但计算代价高昂。相比之下,基于回归的NVS虽计算开销显著降低,但生成质量有限,这使得在保证高质量和推理效率之间构建NVS框架的设计目标仍然悬置。为弥合这一关键差距,我们提出Sphinx,这是一个无训练的混合推理框架,在显著降低计算量的同时实现与扩散模型相当的保真度。Sphinx采用基于回归的快速初始化来引导并减少扩散模型的去噪工作量。此外,它集成了选择性细化和自适应噪声调度,允许对不确定区域和帧帧分配更多计算资源。这使Sphinx能够灵活地进行性能与质量之间的权衡,适应动态变化的推理场景中的延迟和保真度要求。我们的评估表明,Sphinx在扩散模型推理上平均实现1.8倍加速,感知失真小于5%,在NVS服务的质量与延迟之间建立了新的Pareto前沿。
引用
@article{arxiv.2511.18672,
title = {Sphinx: Efficiently Serving Novel View Synthesis using Regression-Guided Selective Refinement},
author = {Yuchen Xia and Souvik Kundu and Mosharaf Chowdhury and Nishil Talati},
journal= {arXiv preprint arXiv:2511.18672},
year = {2025}
}