单张侧面面部图像的面谱特定 3DMM 回归
计算机视觉与模式识别
2026-05-05 v1
摘要
单图像 3D 人脸重建是计算机视觉中的核心问题,具有重要的临床应用,如正颌学中的头影 landmarks 分析。传统上,这一分析依赖于侧面 X 射线成像;然而,由于辐射 concerns,频繁的 X 射线暴露是不可行的。虽然最近的研究探索了从侧面 RGB 图像检测 landmarks 作为替代方案,但现有方法通常依赖于 2D 特征,如眼睛、嘴巴、耳朵和边界轮廓,未能充分利用跨越面部轮廓和下颌线的潜在 3D 人脸几何,这对于准确诊断至关重要。与此同时,尽管从正面视图进行 3D 人脸重建取得了显著进展,但大多数基于学习的 3D 形状可演化模型 (3DMM) 回归器是在开发和基准测试近正面图像上的,其中表现丰富。在极端侧面视角(yaw )中,面部大部分区域被遮挡,可用的信号主要由边界特征主导,使得准确的 3D 重建具有挑战性。本文通过几何条件化合成数据和针对单侧面图像的简单面谱特定 FLAME 回归基线来弥合这一差距。我们引入 ProfileSynth,通过在极端 yaw 范围内采样 FLAME 形状和姿态参数,并使用以深度和法线图为条件的扩散模型生成光照逼真的侧面图像,创建了 ProfileSynth 数据集。我们进一步研究了具有可见性感知下颌线正则化的面谱特定基线。我们的框架为“面谱 3DMM”重建提供了实用的基线,并为从侧面 RGB 图像进行更准确的、非侵入性的头影分析奠定了有前景的基础。
引用
@article{arxiv.2605.01746,
title = {Profile-Specific 3DMM Regression from a Single Lateral Face Image},
author = {Taiki Kanaya and Hideo Saito},
journal= {arXiv preprint arXiv:2605.01746},
year = {2026}
}
备注
Accepted to CV4Clinic Workshop at CVPR 2026. Project page: https://tora223.github.io/profile3dmm-project-page/