r-BTN：基于有限面部局部块的跨域人脸合成与补全
计算机视觉与模式识别
2017-12-08 v2
摘要
我们首先提出一个有趣但极具挑战的问题：“如果目击者只能回忆起嫌疑人的眼部特征，导致法医素描师只能画出眼部素描（例如图 1 左上角所示），先进的计算机视觉技术能否帮助生成完整的面部图像？”一个更一般化的问题是：如果面部/素描的大部分区域（例如超过 50%）缺失，是否仍能估计出逼真的完整面部素描/图像。现有的人脸补全与生成方法要么未进行域迁移学习，要么无法处理大面积缺失。例如，当缺失区域较大（即超过 50%）时，图像修复方法往往会使生成区域变得模糊。本文探索了深度学习网络在填充大面积缺失区域（例如高达 95% 缺失）和跨域生成高保真逼真人脸方面的潜力。我们提出了基于双向变换网络的递归生成方法（r-BTN），该方法从一小块素描/面部局部块递归地生成完整的面部/素描。大面积缺失和跨域挑战使得使用单向跨域学习结构难以生成令人满意的结果。另一方面，面部域与素描域之间的前向与后向双向学习能够以增量方式递归估计缺失区域（图 1），并产生引人注目的结果。r-BTN 还采用了对抗性约束，以促进生成逼真的人脸/素描。大量实验表明，与现有潜在解决方案相比，r-BTN 具有优越的性能。
引用
@article{arxiv.1706.00556,
title = {r-BTN: Cross-domain Face Composite and Synthesis from Limited Facial Patches},
author = {Yang Song and Zhifei Zhang and Hairong Qi},
journal= {arXiv preprint arXiv:1706.00556},
year = {2017}
}
备注
Accepted by AAAI 2018