为移动设备云游戏启用实时神经恢复
网络与互联网体系结构
2023-10-24 v4 计算机视觉与模式识别
机器学习
多媒体
摘要
云游戏是一个价值数十亿美元的产业。云游戏中的客户端将其移动操作发送至互联网上的游戏服务器，服务器渲染并将所得视频传回。为提供良好的游戏体验，要求延迟低于 80 ms。这意味着视频渲染、编码、传输、解码和显示必须在该时间帧内完成，由于服务器过载、网络拥塞和丢包，这尤其难以实现。在本文中，我们提出一种用于恢复云游戏中丢失或损坏视频帧的新方法。与传统视频帧恢复不同，我们的方法利用游戏状态显著提升恢复精度，并利用部分解码的帧来恢复丢失部分。我们开发了一个整体系统，包含（i）高效提取游戏状态，（ii）修改 H.264 视频解码器以生成指示哪些视频帧部分需要恢复的掩码，以及（iii）设计一种新颖的神经网络以恢复完整或部分视频帧。我们的方法在 iPhone 12 和笔记本电脑实现上进行了广泛评估，并展示了游戏状态在游戏视频恢复中的效用以及我们整体设计的有效性。
引用
@article{arxiv.2307.07847,
title = {Enabling Real-time Neural Recovery for Cloud Gaming on Mobile Devices},
author = {Zhaoyuan He and Yifan Yang and Shuozhe Li and Diyuan Dai and Lili Qiu and Yuqing Yang},
journal= {arXiv preprint arXiv:2307.07847},
year = {2023}
}