基于网格张力的表情驱动合成人脸皱纹
计算机视觉与模式识别
2022-10-14 v2 图形学
摘要
近期合成逼真人脸的进展表明，合成训练数据可替代真实数据用于各类人脸相关计算机视觉任务。一个问题随之而来：真实感有多重要？对照片级真实感的追求是否过度？本文给出否定答案。我们通过引入随面部表情变化的动态皮肤皱纹来提升合成人脸的真实感，并观察到下游计算机视觉任务性能的显著提升。以往生成此类皱纹的方法要么需耗费巨大的美术人力以覆盖不同身份与表情，要么无法以足够保真度重建高频皮肤细节。我们的核心贡献是一种可在大规模多样化数字人种群上生成逼真皱纹的方法。具体而言，我们形式化了网格张力的概念，并用其将高质量表情扫描中的可能皱纹聚合为反照率与位移纹理图。在合成时，我们利用这些纹理图即使对源扫描未涵盖的表情也能生成皱纹。此外，为更细致地指示模型在压缩表情所致形变下的表现，我们引入了300W-winks评测子集与Pexels闭眼及眨眼数据集。
引用
@article{arxiv.2210.03529,
title = {Mesh-Tension Driven Expression-Based Wrinkles for Synthetic Faces},
author = {Chirag Raman and Charlie Hewitt and Erroll Wood and Tadas Baltrusaitis},
journal= {arXiv preprint arXiv:2210.03529},
year = {2022}
}
备注
In Proceedings of the 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)