基于感知自适应网络与新基准的无约束人脸素描合成
计算机视觉与模式识别
2021-12-03 v1 机器学习
摘要
人脸素描生成在视觉计算领域引起了广泛关注。然而，现有方法要么受限于约束条件，要么严重依赖各种预处理步骤来处理非受限场景。在本文中，我们认为准确感知面部区域与面部部件对于无约束素描合成至关重要。为此，我们提出了一种新颖的感知自适应网络（PANet），该网络能够以端到端的方式在无约束条件下生成高质量人脸素描。具体而言，我们的PANet由以下部分组成：i) 用于分层特征提取的全卷积编码器，ii) 用于提取潜在面部区域并处理人脸变化的人脸自适应感知解码器，以及 iii) 用于面部部件感知特征表示学习的部件自适应感知模块。为促进无约束人脸素描合成的进一步研究，我们引入了一个称为WildSketch的新基准，其包含800对在人姿、表情、族裔、背景和光照方面具有较大变化的人脸照片-素描对。大量实验表明，所提方法在约束与无约束条件下均能达到最先进的性能。我们的源代码与WildSketch基准已在项目页面 http://lingboliu.com/unconstrained_face_sketch.html 发布。
引用
@article{arxiv.2112.01019,
title = {Unconstrained Face Sketch Synthesis via Perception-Adaptive Network and A New Benchmark},
author = {Lin Nie and Lingbo Liu and Zhengtao Wu and Wenxiong Kang},
journal= {arXiv preprint arXiv:2112.01019},
year = {2021}
}
备注
We proposed the first medium-scale benchmark for unconstrained face sketch synthesis