BioFaceNet：深度生物物理人脸图像解释

本文提出了 BioFaceNet，一种深度 CNN，它学习将单张人脸图像分解为生物物理参数图、漫反射和镜面反射阴影图，并估计场景光源的光谱功率分布和相机的光谱灵敏度。该网络包含一个用于估计空间图的全卷积编码器和一个用于估计向量的全连接分支。网络使用通过基于模型的解码器计算的自监督外观损失进行训练。该任务是高度欠约束的，因此我们施加了多个基于模型的先验。皮肤光谱反射率被限制于生物物理模型，我们对相机光谱灵敏度施加统计先验，对光照光谱施加物理约束，对镜面反射施加稀疏先验，并使用粗糙形状代理对漫反射阴影进行直接监督。我们在真实自然数据上展示了令人信服的定性结果，并引入了一个用于在此新任务上进行定量评估的基准。