LookinGood^{\pi}：用于高质量人体性能捕捉的实时独立于人的神经重渲染
计算机视觉与模式识别
2023-02-17 v2
摘要
我们提出 LookinGood^{\pi}，一种新颖的神经重渲染方法，旨在（1）实时提升来自人体性能捕捉系统的低质量重建结果的渲染质量；（2）提升神经渲染网络在未见过的人的泛化能力。我们的核心思想是利用重建几何的渲染图像作为引导，辅助从少量参考图像预测特定人的细节，从而增强重渲染结果。鉴于此，我们设计了一个双分支网络。粗分支用于修复一些伪影（如孔洞、噪声）并获得渲染输入的粗版本，而细节分支用于从形变后的参考中预测“正确”的细节。渲染图像的引导通过在细节分支的训练中有效融合两个分支的特征来实现，这同时提升了形变精度和细节保真度。我们证明，我们的方法在未见过的人的高保真图像生成上优于最先进的方法。
引用
@article{arxiv.2112.08037,
title = {LookinGood^{\pi}: Real-time Person-independent Neural Re-rendering for High-quality Human Performance Capture},
author = {Xiqi Yang and Kewei Yang and Kang Chen and Weidong Zhang and Weiwei Xu},
journal= {arXiv preprint arXiv:2112.08037},
year = {2023}
}