XScale-NVS：基于哈希特征流形的跨尺度新视图合成
计算机视觉与模式识别
2024-03-29 v1
摘要
我们提出了 XScale-NVS，用于真实世界大规模场景的高保真跨尺度新视图合成。基于显式曲面的现有表示受限于离散化分辨率或 UV 失真，而隐式体积表示由于分散的权重分布和曲面模糊性，缺乏针对大场景的可扩展性。鉴于上述挑战，我们引入了哈希特征流形，这是一种结合了延迟神经渲染框架的新型基于哈希的特征化方法。该方法通过将哈希条目显式集中在 2D 流形上，充分释放了表示的表达能力，从而有效地独立于离散化分辨率表示高度精细的内容。我们还引入了一个新数据集，即 GigaNVS，用于对真实世界大规模场景的跨尺度、高分辨率新视图合成进行基准测试。我们的方法在各种真实场景上显著优于竞争基线，在具有挑战性的 GigaNVS 基准上，其平均 LPIPS 比先前最先进的方法低 40%。请参见我们的项目主页：xscalenvs.github.io。
引用
@article{arxiv.2403.19517,
title = {XScale-NVS: Cross-Scale Novel View Synthesis with Hash Featurized Manifold},
author = {Guangyu Wang and Jinzhi Zhang and Fan Wang and Ruqi Huang and Lu Fang},
journal= {arXiv preprint arXiv:2403.19517},
year = {2024}
}
备注
Accepted to CVPR 2024. Project page: xscalenvs.github.io/