ECON：通过法向积分优化的显式着装人体重建
计算机视觉与模式识别
2023-03-24 v2 人工智能
图形学
摘要
深度学习、艺术家策划扫描与隐式函数（IF）的结合，正使得从图像创建细节丰富的着装 3D 人体成为可能。然而，现有方法远非完美。基于 IF 的方法恢复自由形式几何，但对新姿态或衣物会产生脱节肢体或退化形状。为提升这些情形的鲁棒性，现有工作使用显式参数化身体模型约束表面重建，但这限制了如偏离身体的宽松衣物等自由形式表面的恢复。我们所需的是一种兼具隐式表示与显式身体正则化最优性质的方法。为此，我们有两个关键观察：（1）当前网络更擅长推断精细 2D 图而非完整 3D 表面；（2）参数化模型可视为拼接精细表面块的“画布”。基于此，我们的方法 ECON 含三个主要步骤：（1）推断着装人体前后侧的精细 2D 法向图。（2）由此恢复同样精细但不完整的 2.5D 前后表面，称为 d-BiNI，并借助从图像恢复的 SMPL-X 身体网格将二者配准。（3）“修补”d-BiNI 表面间的缺失几何。若面部与手部含噪，可选择性地以 SMPL-X 的对应部分替换。结果表明，即便在宽松衣物与困难姿态下，ECON 也能推断高保真 3D 人体。据 CAPE 与 Renderpeople 数据集上的定量评估，这超越了先前方法。感知研究亦显示 ECON 的感知真实感大幅更优。代码与模型已发布于 econ.is.tue.mpg.de 供研究使用。
引用
@article{arxiv.2212.07422,
title = {ECON: Explicit Clothed humans Optimized via Normal integration},
author = {Yuliang Xiu and Jinlong Yang and Xu Cao and Dimitrios Tzionas and Michael J. Black},
journal= {arXiv preprint arXiv:2212.07422},
year = {2023}
}
备注
Homepage: https://xiuyuliang.cn/econ Code: https://github.com/YuliangXiu/ECON