基于多分辨率高斯-网格的学习式迭代反馈通用人类渲染

稀疏输入对可动画人类头像的通用渲染依赖于从大规模数据中提取的数据先验和归纳偏置，以避免场景特定的优化并实现快速重建。这提出了两个主要挑战：首先，与场景特定优化中的迭代梯度调整不同，通用方法必须在推理阶段以单次前向传播重建人类形状表示。其次，渲染最好计算高效且分辨率高。为解决这两个挑战，我们对最近提出的双重形状表示进行了两种增强：该表示结合了网格和高斯点的优势。为提高重建质量，我们提出了迭代反馈更新框架，成功改进了重建期间的标准人类形状表示。为实现计算高效且高分辨率的渲染，我们研究了耦合的多分辨率高斯-网格表示。我们在具有挑战性的 THuman2.0、XHuman 和 AIST++ 数据集上进行评估。我们的 approach 在不到1秒内从稀疏输入重建可动画表示，在 $1024 \times 1024$ 分辨率下实现 95.1FPS 的渲染速度，并在 THuman2.0 上实现 PSNR/LPIPS/FID 为 24.65/110.82/51.27，超越了当前在渲染质量方面的最先进水平。