GameIR：面向游戏内容图像恢复的大规模合成真值数据集
计算机视觉与模式识别
2024-09-02 v1
摘要
超分辨率和图像合成等图像恢复方法已成功应用于 NVIDIA 的 DLSS 等商业云游戏产品中。然而，公众对游戏内容上的图像恢复研究尚不充分。这种差异主要是由于缺乏与测试用例相匹配的真值游戏训练数据。由于游戏内容的独特性质，通过对原始高分辨率 (HR) 图像进行退化以生成伪训练数据的常用方法会导致恢复性能不佳。在这项工作中，我们开发了 GameIR，一个大规模高质量计算机合成真值数据集来填补这一空白，针对两种不同的应用。第一种是带有延迟渲染的超分辨率，以支持仅渲染和传输低分辨率 (LR) 图像并在客户端恢复高分辨率图像的游戏解决方案。我们为该任务提供了来自以 720p 和 1440p 渲染的 640 个视频的 19,200 对 LR-HR 真值帧。第二种是新视角合成 (NVS)，以支持渲染和传输部分多视角帧并在客户端生成剩余帧的多视角游戏解决方案。该任务包含来自 160 个场景、6 个相机视角的 960 个视频的 57,600 帧 HR 图像。除了 RGB 帧外，还提供了延迟渲染阶段的 GBuffers，可用于辅助恢复。此外，我们在我们的数据集上评估了几种 SOTA 超分辨率算法和基于 NeRF 的 NVS 算法，这证明了我们的真值 GameIR 数据在提高游戏内容恢复性能方面的有效性。同时，我们测试了将 GBuffers 作为额外输入信息以辅助超分辨率和 NVS 的方法。我们向公众发布我们的数据集和模型，以促进对游戏内容恢复方法的研究。
引用
@article{arxiv.2408.16866,
title = {GameIR: A Large-Scale Synthesized Ground-Truth Dataset for Image Restoration over Gaming Content},
author = {Lebin Zhou and Kun Han and Nam Ling and Wei Wang and Wei Jiang},
journal= {arXiv preprint arXiv:2408.16866},
year = {2024}
}