基于质量度量引导与未配对训练数据的人像线描生成
计算机视觉与模式识别
2022-02-09 v1 图形学
摘要
人脸肖像线描是一种高度抽象且具表现力的独特艺术风格。然而，由于其高语义约束，许多现有方法使用配对训练数据学习生成肖像线描，而此类数据获取成本高且耗时。本文提出一种新方法，利用未配对训练数据自动将人脸照片转换为肖像线描，具有两个新特性：即我们的方法可（1）使用单一网络学习生成多种风格的高质量肖像线描，以及（2）生成训练数据中未出现的“新风格”肖像线描。为获得这些优势，我们（1）提出一种从人类感知中学习得到的肖像线描新型质量度量，并（2）引入质量损失以引导网络生成更具美感的肖像线描。我们观察到，现有未配对翻译方法如CycleGAN由于照片与肖像线描域间显著的信息不平衡，倾向于将不可见的重建信息无差别地嵌入整幅线描中，导致重要面部特征缺失。为解决该问题，我们提出一种新型非对称循环映射，强制重建信息可见且仅嵌入选定面部区域。配合针对重要面部区域的局部判别器，我们的方法在生成线描中良好保留了所有重要面部特征。生成器剖析进一步表明，我们的模型在学习绘制线描时融入了人脸语义信息。包括用户研究在内的广泛实验表明，我们的模型优于最先进的方法。
引用
@article{arxiv.2202.03678,
title = {Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data},
author = {Ran Yi and Yong-Jin Liu and Yu-Kun Lai and Paul L. Rosin},
journal= {arXiv preprint arXiv:2202.03678},
year = {2022}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence, https://doi.org/10.1109/TPAMI.2022.3147570, code: https://github.com/yiranran/QMUPD