HAVE-FUN：基于少样本无约束图像的人体化身重建
计算机视觉与模式识别
2024-04-02 v2
摘要
对于人体化身重建，当代技术通常需要获取昂贵的数据，且难以从少量随意拍摄的图像中取得满意结果。本文研究从少样本无约束相册进行该任务。由于数据量有限且存在动态关节化姿态，从此类数据源重建人体化身具有挑战性。为处理动态数据，我们将蒙皮机制与深度行进四面体（DMTet）相集成，形成可驱动的四面体表示，其驱动 DMTet 生成的任意网格拓扑以适应无约束图像。为从少样本数据中有效挖掘指导性信息，我们设计了一种具有少样本参考与少样本引导的两阶段优化方法。前者侧重于将化身身份与参考图像对齐，后者旨在为不可见区域生成合理外观。总体而言，我们称为 HaveFun 的框架可完成化身重建、渲染与动画。在我们构建的基准上的大量实验表明，HaveFun 在重建人体与手部方面表现出显著优越的性能。项目网站：https://seanchenxy.github.io/HaveFunWeb/。
引用
@article{arxiv.2311.15672,
title = {HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images},
author = {Xihe Yang and Xingyu Chen and Daiheng Gao and Shaohui Wang and Xiaoguang Han and Baoyuan Wang},
journal= {arXiv preprint arXiv:2311.15672},
year = {2024}
}