Tri$^{2}$-plane: 基于特征金字塔的动态头部化身

近年来，基于神经体渲染的面部化身重建取得了显著成就。尽管取得了显著进展，但从单目视频重建复杂动态头部运动仍然难以捕捉和恢复精细细节。本文提出了一种名为Tri$^2$-plane的新方法，用于单目照片级真实感体积头部化身重建。与现有依赖单一三平面变形场进行动态面部建模的工作不同，所提出的Tri$^2$-plane利用特征金字塔原理和三个自上而下的横向连接三平面来改进细节。它从整个面部到特定局部区域，再到更精细的子区域，以多尺度采样和渲染面部细节。此外，我们引入了一种基于相机的几何感知滑动窗口方法作为训练中的增强，提高了规范空间之外的鲁棒性，特别是在跨身份生成能力方面。实验结果表明，Tri$^2$-plane不仅超越了现有方法，而且在定量和定性评估中均取得了优越性能。项目网站：\url{https://songluchuan.github.io/Tri2Plane.github.io/}。