通过神经缓存将神经人脸合成扩展至高帧率与低延迟
计算机视觉与模式识别
2022-11-11 v1
摘要
近期的神经渲染方法大幅提升了图像质量，达到接近照片级真实感。然而，底层神经网络运行时间长，阻碍了需要低延迟高分辨率的临场感与虚拟现实应用。深度网络中层的顺序依赖使其优化困难。我们通过缓存前一帧的信息，利用隐式扭曲加速当前帧的处理，从而打破该依赖。使用浅层网络的扭曲降低了延迟，且缓存操作可进一步并行化以提高帧率。与现有时序神经网络不同，我们的网络专为通过以底层表面网格变化为条件来渲染人脸新视角这一任务而设计。我们在已建立的基准序列上测试了该方法用于临场感所需的3D肖像化身视角相关渲染。扭曲将延迟降低了70（在商用GPU上从49.4ms降至14.9ms），并在多GPU上相应提升帧率，同时图像质量仅下降1，使其适合作为端到端视角相关3D远程会议应用的一部分。我们的项目页面位于：https://yu-frank.github.io/lowlatency/。
引用
@article{arxiv.2211.05773,
title = {Scaling Neural Face Synthesis to High FPS and Low Latency by Neural Caching},
author = {Frank Yu and Sid Fels and Helge Rhodin},
journal= {arXiv preprint arXiv:2211.05773},
year = {2022}
}