MoSAR：基于可微着色的单目半监督 Avatar 重建模型
计算机视觉与模式识别
2023-12-25 v2 图形学
机器学习
摘要
从人像图像重建 Avatar 在多媒体领域有许多应用，但仍然是一个具有挑战性的研究问题。从单张图像中提取反射率贴图和几何结构是一个不适定问题：恢复几何结构是一个一对多映射问题，且反射率和光照难以解耦。在受控的光场条件下可以捕获精确的几何结构和反射率，但以这种方式获取大规模数据集成本高昂。此外，仅使用此类数据进行训练会导致对自然图像的泛化能力较差。这促使我们提出 MoSAR，一种从单目图像生成 3D Avatar 的方法。我们提出了一种半监督训练方案，通过同时从光场和自然数据集中学习来提升泛化能力。这是通过一种新颖的可微着色公式实现的。我们表明，我们的方法能够有效解耦人脸本征参数，生成可重新打光的 Avatar。因此，MoSAR 估计了更丰富的皮肤反射率贴图集，并生成了比现有最先进方法更逼真的 Avatar。我们还引入了一个名为 FFHQ-UV-Intrinsics 的新数据集，这是首个提供大规模人脸本征属性（漫反射、高光、环境光遮蔽和半透明贴图）的公开数据集，共计 10k 个对象。项目网站和数据集可通过以下链接获取：https://ubisoft-laforge.github.io/character/mosar/
引用
@article{arxiv.2312.13091,
title = {MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading},
author = {Abdallah Dib and Luiz Gustavo Hafemann and Emeline Got and Trevor Anderson and Amin Fadaeinejad and Rafael M. O. Cruz and Marc-Andre Carbonneau},
journal= {arXiv preprint arXiv:2312.13091},
year = {2023}
}
备注
https://ubisoft-laforge.github.io/character/mosar/