TexVocab：纹理词汇表条件下的人体虚拟形象
计算机视觉与模式识别
2024-04-02 v1
摘要
为了在基于多视角视频的虚拟形象建模中充分利用可用的图像证据，我们提出了 TexVocab，这是一种新颖的虚拟形象表示方法，它构建了一个纹理词汇表并将身体姿态与纹理图相关联以用于动画生成。给定多视角 RGB 视频，我们的方法首先将训练视频中所有可用的图像反投影到带姿态的 SMPL 表面上，在 SMPL UV 域中生成纹理图。然后，我们构建人体姿态与纹理图的对，以建立一个纹理词汇表，用于编码各种姿态下的动态人体外观。与常用的逐关节方式不同，我们进一步设计了一种逐身体部位编码策略，以学习运动链的结构效应。给定一个驱动姿态，我们通过将姿态向量分解为若干身体部位并对纹理特征进行插值，分层地查询姿态特征，从而合成细粒度的人体动态。总体而言，我们的方法能够从 RGB 视频中创建具有详细和动态外观的可动画人体虚拟形象，并且实验表明我们的方法优于 SOTA 方法。项目页面可在 https://texvocab.github.io/ 找到。
引用
@article{arxiv.2404.00524,
title = {TexVocab: Texture Vocabulary-conditioned Human Avatars},
author = {Yuxiao Liu and Zhe Li and Yebin Liu and Haoqian Wang},
journal= {arXiv preprint arXiv:2404.00524},
year = {2024}
}