Sketch-1-to-3:单一草图到三维详细面部重建
计算机视觉与模式识别
2025-11-25 v3
摘要
从单一草图重建三维面部是具有重要实际应用价值的但尚未充分探索的任务。主要挑战源于二维草图与三维面部结构之间的显著模态差距,包括:(1) 从二维草图准确提取面部关键点;(2) 保存多样化的面部表情和细微纹理细节;(3) 在数据有限的情况下训练高性能模型。为此,本文提出了 Sketch-1-to-3 框架,用于从单一草图实现逼真的三维面部重建。具体而言,我们引入了几何轮廓与纹理细节(GCTD)模块,以增强从面部草图中提取的几何轮廓和纹理细节。此外,我们设计了带有域适应模块和定制损失函数的深度学习架构,将草图与三维面部空间对齐,从而实现高保真的表情和纹理重建。为便于评估和进一步研究,我们构建了 SketchFaces 数据集和 Syn-SketchFaces 人造面部草图数据集。广泛实验表明,Sketch-1-to-3 在基于草图的三维面部重建中实现了最先进的性能。
引用
@article{arxiv.2502.17852,
title = {Sketch-1-to-3: One Single Sketch to 3D Detailed Face Reconstruction},
author = {Liting Wen and Zimo Yang and Xianlin Zhang and Chi Ding and Mingdao Wang and Xueming Li},
journal= {arXiv preprint arXiv:2502.17852},
year = {2025}
}
备注
Accepted by ACM MMAsia 2025