SMERF: 用于实时大场景探索的可流式内存高效辐射场
计算机视觉与模式识别
2024-07-03 v3 图形学
摘要
最近的实时视图合成技术在保真度和速度上迅速进步，现代方法能够在交互式帧率下渲染近乎照片级真实的场景。同时，在适合光栅化的显式场景表示与基于光线步进的神经场之间出现了紧张关系，后者的最先进实例在质量上超过前者，但对于实时应用而言成本过高。在本文中，我们介绍了SMERF，一种视图合成方法，在大场景（足迹高达300 m²，体素分辨率3.5 mm³）上实现了实时方法中最高的精度。我们的方法基于两个主要贡献：一种分层模型划分方案，在约束计算和内存消耗的同时增加模型容量；以及一种蒸馏训练策略，同时产生高保真度和内部一致性。我们的方法支持在网页浏览器内进行完整的六自由度（6DOF）导航，并在商用智能手机和笔记本电脑上实时渲染。大量实验表明，我们的方法在标准基准上比当前最先进的实时新视图合成方法高出0.78 dB，在大场景上高出1.78 dB，渲染帧比最先进的辐射场模型快三个数量级，并在包括智能手机在内的各种商用设备上实现实时性能。我们鼓励读者在我们的项目网站https://smerf-3d.github.io上交互式探索这些模型。
引用
@article{arxiv.2312.07541,
title = {SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration},
author = {Daniel Duckworth and Peter Hedman and Christian Reiser and Peter Zhizhin and Jean-François Thibert and Mario Lučić and Richard Szeliski and Jonathan T. Barron},
journal= {arXiv preprint arXiv:2312.07541},
year = {2024}
}
备注
Camera Ready. Project website: https://smerf-3d.github.io