从任意单张肖像图像进行高质量 3D 头部重建
计算机视觉与模式识别
2026-01-16 v3
摘要
在本工作中，我们提出了一种从单张肖像图像进行高保真 3D 头部重建的新方法，不受视角、表情或配饰的限制。尽管已有大量努力将 2D 生成模型适配于新视角合成和 3D 优化，但大多数方法难以生成高质量的 3D 肖像。身份、表情、头发和配饰等关键信息的缺失限制了这些方法生成逼真的 3D 头部模型。为应对这些挑战，我们构建了一个新的高质量数据集，包含来自 96 个不同视角的 227 个数字人肖像序列，共计 21,792 帧，具有多样的表情和配饰。为进一步提升性能，我们将身份和表情信息集成到多视角扩散过程中，以增强跨视角的面部一致性。具体而言，我们应用了身份和表情感知的引导与监督来提取准确的面部表示，这些表示引导模型并强制目标函数确保生成过程中的高身份和表情一致性。最后，我们生成了由 96 个多视角帧组成的围绕肖像的轨道视频，可用于 3D 肖像模型重建。我们的方法在具有挑战性的场景中表现出稳健的性能，包括侧面角度和复杂配饰。
引用
@article{arxiv.2503.08516,
title = {High-Quality 3D Head Reconstruction from Any Single Portrait Image},
author = {Jianfu Zhang and Yujie Gao and Jiahui Zhan and Wentao Wang and Yiyi Zhang and Haohua Zhao and Liqing Zhang},
journal= {arXiv preprint arXiv:2503.08516},
year = {2026}
}