中文

单张侧面面部图像的面谱特定 3DMM 回归

计算机视觉与模式识别 2026-05-05 v1

摘要

单图像 3D 人脸重建是计算机视觉中的核心问题,具有重要的临床应用,如正颌学中的头影 landmarks 分析。传统上,这一分析依赖于侧面 X 射线成像;然而,由于辐射 concerns,频繁的 X 射线暴露是不可行的。虽然最近的研究探索了从侧面 RGB 图像检测 landmarks 作为替代方案,但现有方法通常依赖于 2D 特征,如眼睛、嘴巴、耳朵和边界轮廓,未能充分利用跨越面部轮廓和下颌线的潜在 3D 人脸几何,这对于准确诊断至关重要。与此同时,尽管从正面视图进行 3D 人脸重建取得了显著进展,但大多数基于学习的 3D 形状可演化模型 (3DMM) 回归器是在开发和基准测试近正面图像上的,其中表现丰富。在极端侧面视角(yaw 90\approx 90^\circ)中,面部大部分区域被遮挡,可用的信号主要由边界特征主导,使得准确的 3D 重建具有挑战性。本文通过几何条件化合成数据和针对单侧面图像的简单面谱特定 FLAME 回归基线来弥合这一差距。我们引入 ProfileSynth,通过在极端 yaw 范围内采样 FLAME 形状和姿态参数,并使用以深度和法线图为条件的扩散模型生成光照逼真的侧面图像,创建了 ProfileSynth 数据集。我们进一步研究了具有可见性感知下颌线正则化的面谱特定基线。我们的框架为“面谱 ×\times 3DMM”重建提供了实用的基线,并为从侧面 RGB 图像进行更准确的、非侵入性的头影分析奠定了有前景的基础。

关键词

引用

@article{arxiv.2605.01746,
  title  = {Profile-Specific 3DMM Regression from a Single Lateral Face Image},
  author = {Taiki Kanaya and Hideo Saito},
  journal= {arXiv preprint arXiv:2605.01746},
  year   = {2026}
}

备注

Accepted to CV4Clinic Workshop at CVPR 2026. Project page: https://tora223.github.io/profile3dmm-project-page/