用于净化真实图像的掩码引导风格迁移网络
计算机视觉与模式识别
2019-03-21 v1
摘要
近来，学习-by-合成（learning-by-synthesis）的进展提出了一种用于合成图像的训练模型，能有效降低人力与物力成本。然而，由于合成图像与真实图像分布不同，无法达到预期性能。为解决此问题，先前方法学习一个模型来提升合成图像的真实感。与先前方法不同，本文尝试通过提取判别性强且鲁棒的特征，将室外真实图像转换为室内合成图像，从而净化真实图像。本文中，我们首先引入分割掩码构建 RGB-掩码对作为输入，然后设计一种掩码引导风格迁移网络，分别从注意力区域和背景（bkgd）区域学习风格特征，并从完整区域和注意力区域学习内容特征。此外，我们提出一种新颖的区域级任务引导损失来约束从风格和内容中学习到的特征。实验采用混合研究（定性与定量）方法进行，以证明在复杂方向上净化真实图像的可能性。我们在多个公开数据集（包括 LPW、COCO 和 MPIIGaze）上评估所提方法。实验结果表明所提方法有效并取得了 SOTA 结果。
引用
@article{arxiv.1903.08152,
title = {Mask-guided Style Transfer Network for Purifying Real Images},
author = {Tongtong Zhao and Yuxiao Yan and Jinjia Peng and Huibing Wang and Xianping Fu},
journal= {arXiv preprint arXiv:1903.08152},
year = {2019}
}
备注
arXiv admin note: substantial text overlap with arXiv:1903.05820