TeCH：基于文本引导的逼真着装人体重建
计算机视觉与模式识别
2023-08-22 v2 人工智能
图形学
摘要
尽管近期从单张图像重建着装人体研究取得进展，但高精度恢复具有高层细节的“未见区域”仍是一个缺乏关注的未解挑战。现有方法常生成过于平滑的背面表面与模糊纹理。但如何有效地从单张图像捕获个体的所有视觉属性，足以重建未见区域（如背面视图）？受基础模型能力的启发，TeCH 通过利用 1) 由衣物解析模型和视觉问答(Visual Question Answering, VQA)自动生成的描述性文本提示（如衣物、颜色、发型），2) 学习“难以描述”外观的个性化微调文本到图像扩散模型(Text-to-Image, T2I)，来重建 3D 人体。为以可承受成本表示高分辨率 3D 着装人体，我们提出一种基于 DMTet 的混合 3D 表示，其由显式身体形状网格和隐式距离场组成。在描述性提示与个性化 T2I 扩散模型引导下，3D 人体的几何与纹理通过基于原始观测的多视角分数蒸馏采样(Score Distillation Sampling, SDS)与重建损失进行优化。TeCH 生成具有一致且精细纹理以及详细全身几何的高保真 3D 着装人体。定量与定性实验表明，TeCH 在重建精度与渲染质量上优于最优(state-of-the-art)方法。代码将出于研究目的公开于 https://huangyangyi.github.io/TeCH
引用
@article{arxiv.2308.08545,
title = {TeCH: Text-guided Reconstruction of Lifelike Clothed Humans},
author = {Yangyi Huang and Hongwei Yi and Yuliang Xiu and Tingting Liao and Jiaxiang Tang and Deng Cai and Justus Thies},
journal= {arXiv preprint arXiv:2308.08545},
year = {2023}
}
备注
Project: https://huangyangyi.github.io/TeCH, Code: https://github.com/huangyangyi/TeCH