用于可流式自由视点视频的神经残差辐射场

神经辐射场（NeRFs）在静态物体建模与自由视点渲染上的成功激发了大量针对动态场景的尝试。当前利用神经渲染实现自由视点视频（FVVs）的技术要么局限于离线渲染，要么只能处理运动极小的简短序列。本文中，我们提出一种新技术——残差辐射场（ReRF），作为一种高度紧凑的神经表示，以实现长时长动态场景的实时 FVV 渲染。ReRF 在空间-时间特征空间中显式建模相邻时间戳之间的残差信息，并使用一个基于全局坐标的微小 MLP 作为特征解码器。具体而言，ReRF 采用紧凑的运动网格与残差特征网格来利用帧间特征相似性。我们展示该策略可在不牺牲质量的前提下处理大幅运动。我们进一步提出一种顺序训练方案以维持运动/残差网格的平滑性与稀疏性。基于 ReRF，我们设计了一种特殊的 FVV 编解码器，实现了三个数量级的压缩率，并提供配套的 ReRF 播放器以支持动态场景长时长 FVV 的在线流式传输。大量实验证明了 ReRF 在紧凑表示动态辐射场方面的有效性，实现了速度与质量上前所未有的自由视点观看体验。