可驱动的三维高斯化身
计算机视觉与模式识别
2025-02-12 v2
摘要
我们提出可驱动的三维高斯化身（D3GA），一种用于人体、利用嵌入四面体笼中的 3D 高斯图元的多层三维可控模型。与常用的线性混合蒙皮（LBS）相比，使用笼的优势在于诸如 3D 高斯之类的图元会自然地被重新定向，且其核通过所含四面体的变形梯度被拉伸。为四面体顶点建模了额外偏移，有效地将低维驱动姿态与待渲染的大量图元解耦。这种分离通过每个四面体对 3D 高斯的局部影响实现，带来了优化的改善。利用基于笼的变形模型，我们引入了一种将化身分解为若干层（如衣物、手或面部）的组合式流程，改进了对衣物滑动等现象的建模。这些部分可基于不同的驱动信号进行条件化，例如用于面部表情的关键点，或用于衣物与身体的关节角度向量。我们在两个具有不同体型、服装与动作的多视角数据集上的实验显示了更高质量的结果。它们在相同数据下超越了其他 SOTA 方法的 PSNR 与 SSIM 指标，同时提供了更强的灵活性与紧凑性。
引用
@article{arxiv.2311.08581,
title = {Drivable 3D Gaussian Avatars},
author = {Wojciech Zielonka and Timur Bagautdinov and Shunsuke Saito and Michael Zollhöfer and Justus Thies and Javier Romero},
journal= {arXiv preprint arXiv:2311.08581},
year = {2025}
}
备注
Accepted to 3DV25 Website: https://zielon.github.io/d3ga/