SIRA：从单张图像重建可重光照化身
计算机视觉与模式识别
2022-09-08 v1 人工智能
图像与视频处理
摘要
从单张图像恢复人头的几何形状，同时分解材质与光照，是一个严重不适定问题，需要先验信息才能求解。基于 3D 可变形模型（3DMM）及其与可微渲染器结合的方法已显示出有前景的结果。然而，3DMM 的表现力有限，通常产生局限于面部区域、过度平滑且与身份无关的 3D 形状。最近，使用以多层感知机参数化几何的神经场已获得高精度的全头重建。这些表示的通用性在解耦几何、材质和光照方面也被证明是有效的。然而，这些方法需要数十张输入图像。在本文中，我们提出 SIRA，一种从单张图像以高保真几何及分解的光照与表面材质重建人头化身的方法。我们的关键要素是两个基于神经场的数据驱动统计模型，解决了单视图 3D 表面重建与外观分解的歧义。实验表明，SIRA 在 3D 头部重建中取得了最先进（state of the art）的结果，同时成功解耦了全局光照以及漫反射和反照率与镜面反照率。此外，我们的重建适用于基于物理的外观编辑和头部模型重光照。
引用
@article{arxiv.2209.03027,
title = {SIRA: Relightable Avatars from a Single Image},
author = {Pol Caselles and Eduard Ramon and Jaime Garcia and Xavier Giro-i-Nieto and Francesc Moreno-Noguer and Gil Triginer},
journal= {arXiv preprint arXiv:2209.03027},
year = {2022}
}