基于传递躯干与面部表征的人类多视角合成：传递躯干与面部表征
计算机视觉与模式识别
2024-12-05 v1 人工智能
摘要
从单视图生成多视角人类图像是一项复杂且重要的挑战。虽然近期在多视角物体生成方面取得了显著进展，但人类的新视角合成仍受限于3D人类数据集稀缺的限制。许多现有模型难以生成逼真的人体形状或准确捕捉面部细粒度细节。为此，我们提出一种创新框架，利用传递躯干与面部表征进行多视角人类合成。具体而言，我们使用在大规模人类数据集上预训练的单视图模型，以开发多视角躯干表征，旨在将单视图模型的2D知识扩展至多视角扩散模型。此外，为增强模型的细节恢复能力，我们将传递的多模态面部特征整合到训练好的人类扩散模型中。实验评估表明，我们的方法在基准数据集上优于当前最先进的方法，在多视角人类合成方面实现了卓越的性能。
引用
@article{arxiv.2412.03011,
title = {Human Multi-View Synthesis from a Single-View Model:Transferred Body and Face Representations},
author = {Yu Feng and Shunsi Zhang and Jian Shu and Hanfeng Zhao and Guoliang Pang and Chi Zhang and Hao Wang},
journal= {arXiv preprint arXiv:2412.03011},
year = {2024}
}