基于动态自适应的人体启发式人脸素描合成
计算机视觉与模式识别
2023-09-04 v1 多媒体
摘要
人脸素描合成（FSS）旨在从给定人脸照片生成生动的素描肖像。现有 FSS 方法仅依赖人脸语义或外观的 2D 表示。然而，专业人类艺术家通常使用轮廓或阴影来传达 3D 几何。因此人脸 3D 几何（如深度图）对 FSS 极为重要。此外，不同艺术家可能使用多样绘制技法并创作多种风格素描；但一幅素描中风格是全局一致的。受此类观察启发，本文提出一种新的人体启发式动态自适应（HIDA）方法。具体而言，我们提出基于人脸 3D 几何与 2D 外观的联合考量以及全局一致风格控制来动态调制神经元激活。此外，我们在粗尺度上使用可变形卷积对齐深层特征，以生成抽象且鲜明的轮廓。实验表明，HIDA 可生成多种风格的高质量素描，并在大量具有挑战性的人脸上显著优于先前方法。此外，HIDA 允许对合成素描进行精确风格控制，并能很好地泛化至自然场景与其他艺术风格。我们的代码与结果已发布于：https://github.com/AiArt-HDU/HIDA。
引用
@article{arxiv.2309.00216,
title = {Human-Inspired Facial Sketch Synthesis with Dynamic Adaptation},
author = {Fei Gao and Yifan Zhu and Chang Jiang and Nannan Wang},
journal= {arXiv preprint arXiv:2309.00216},
year = {2023}
}
备注
To appear on ICCV'23