LayGA:用于可动画衣物迁移的分层高斯头像
计算机视觉与模式识别
2024-05-14 v1
摘要
可动画衣物迁移旨在跨角色对服装进行化装和动画,这是一项具有挑战性的任务。大多数人类头像工作将人体和服装的表示 entangled 在一起,这导致在跨身份虚拟试穿时存在困难。更糟糕的是,entangled 表示通常无法准确跟踪服装的滑动运动。为克服这些限制,我们提出了分层高斯头像(LayGA),一种将人体和服装建模为两个独立层次的表示方法,用于来自多视角视频的photorealistic可动画衣物迁移。我们的表示建立在基于高斯图的头像之上,因为其对服装细节的表示能力出色。然而,高斯图会产生围绕实际表面的非结构化3D高斯分布。这一缺乏平滑显式表面的问题,给准确的服装跟踪和人体与服装之间的碰撞处理带来了挑战。因此,我们提出了两阶段训练,涉及单层重建和多层拟合。在单层重建阶段,我们提出了一系列几何约束来重建平滑表面,并同时获取人体与服装的分割。在多层拟合阶段,我们训练两个独立的模型来分别表示人体和服装,并利用重建的服装几何作为3D监督,以实现更准确的服装跟踪。此外,我们提出用于高质量几何重建和高保真渲染的几何层和渲染层。总体而言,LayGA实现了photorealistic动画和虚拟试穿,并优于其他基线方法。我们的项目页面为https://jsnln.github.io/layga/index.html。
引用
@article{arxiv.2405.07319,
title = {LayGA: Layered Gaussian Avatars for Animatable Clothing Transfer},
author = {Siyou Lin and Zhe Li and Zhaoqi Su and Zerong Zheng and Hongwen Zhang and Yebin Liu},
journal= {arXiv preprint arXiv:2405.07319},
year = {2024}
}
备注
SIGGRAPH 2024 conference track