无 G-buffer 的帧外推 GFFE：面向低延迟实时渲染
计算机视觉与模式识别
2024-06-28 v1 图形学
摘要
实时渲染正逐渐接受越来越苛刻的效果，如光线追踪。然而，在高分辨率和高帧率下实现此类效果仍具有挑战性。帧外推方法由于不会像 DLSS 3 和 FSR 3 这样的帧插值方法那样引入额外延迟，能够通过基于先前帧生成未来帧来提升帧率。然而，这是更具挑战性的任务，因为在遮挡区域缺乏信息，且最近方法由于需要 G-buffers 作为输入而具有高额引擎集成成本。我们提出一种无 G-buffer 的帧外推方法 GFFE，配合新颖的启发式框架和高效神经网络，即可在不引入额外延迟的情况下实时生成新帧。我们分析动态片段的运动和不同类型的遮挡，并为外推块设计相应的模块以处理它们。在填充遮挡后，使用轻量级着色校正网络来校正着色并提高整体质量。GFFE 实现了与之前插值以及 G-buffer 依赖性外推方法相当或更好的效果，同时具有更高效的性能和更易集成的特点。
关键词
引用
@article{arxiv.2406.18551,
title = {GFFE: G-buffer Free Frame Extrapolation for Low-latency Real-time Rendering},
author = {Songyin Wu and Deepak Vembar and Anton Sochenov and Selvakumar Panneer and Sungye Kim and Anton Kaplanyan and Ling-Qi Yan},
journal= {arXiv preprint arXiv:2406.18551},
year = {2024}
}