HyperReel：基于光线条件采样的高保真 6-DoF 视频
计算机视觉与模式识别
2023-05-31 v2
摘要
体素场景表示能够实现静态场景的真实感视角合成，并构成若干现有 6-DoF 视频技术的基础。然而，驱动这些表示的体渲染过程在质量、渲染速度和内存效率方面需要谨慎权衡。特别地，现有方法无法同时实现实时性能、小内存占用以及对具有挑战性的真实场景的高质量渲染。为解决这些问题，我们提出 HyperReel——一种新颖的 6-DoF 视频表示。HyperReel 的两个核心组件是：(1) 一个光线条件采样预测网络，可在高分辨率下实现高保真、高帧率的渲染；(2) 一个紧凑且内存高效的动态体表示。我们的 6-DoF 视频管线在视觉质量和小内存需求方面相比先前及同期方法取得了最佳性能，同时还能在百万像素分辨率下以高达每秒 18 帧的速度渲染，且无需任何自定义 CUDA 代码。
引用
@article{arxiv.2301.02238,
title = {HyperReel: High-Fidelity 6-DoF Video with Ray-Conditioned Sampling},
author = {Benjamin Attal and Jia-Bin Huang and Christian Richardt and Michael Zollhoefer and Johannes Kopf and Matthew O'Toole and Changil Kim},
journal= {arXiv preprint arXiv:2301.02238},
year = {2023}
}
备注
Project page: https://hyperreel.github.io/