具有可停用跳跃连接的交叉模态深度人脸法向量估计
计算机视觉与模式识别
2020-03-31 v2 机器学习
图像与视频处理
摘要
我们提出了一种从野外人脸彩色图像估计表面法向量的方法。尽管已有针对单张人脸图像的数据驱动策略，但可用的真实标注数据有限使该问题颇具难度。为缓解此问题，我们提出了一种可利用所有可用图像与法向量数据（无论是否配对）的方法，这得益于一种新颖的交叉模态学习架构。具体而言，通过使用两个具有共享潜在空间的编码器-解码器网络，我们支持使用单一模态（彩色或法向量）数据的额外训练。所提架构还可通过图像编码器与法向量解码器之间的跳跃连接，在给定配对数据时实现人脸细节在图像域与法向量域间的迁移。我们方法的核心是一个称为可停用跳跃连接的新颖模块，它允许将自编码分支与图像到法向量分支集成于同一可端到端训练的架构中。这使得能够学习可准确捕捉法向量信息的丰富潜在空间。我们与当前最优方法比较，表明我们的方法在自然人脸图像上可取得显著的定量与定性改进。
引用
@article{arxiv.2003.09691,
title = {Cross-modal Deep Face Normals with Deactivable Skip Connections},
author = {Victoria Fernandez Abrevaya and Adnane Boukhayma and Philip H. S. Torr and Edmond Boyer},
journal= {arXiv preprint arXiv:2003.09691},
year = {2020}
}
备注
CVPR 2020