利用注意力引导风格迁移网络净化真实图像以用于视线估计
计算机视觉与模式识别
2020-02-17 v1 图像与视频处理
摘要
近来，合成学习（learning-by-synthesis）提出了一种针对合成图像的训练模型，可有效降低人力与物力成本。然而，由于合成图像与真实图像分布不同，无法达到预期性能。真实图像包含多种光照方向形式，而合成图像具有均匀光照方向。这些特征分别被视为室外与室内场景的特征。为解决该问题，先前方法学习一个模型以提升合成图像的真实感。与先前方法不同，本文试图通过提取判别性与鲁棒特征，将室外真实图像转换为室内合成图像，从而净化真实图像。本文中，我们首先引入分割掩码构建 RGB-mask 对作为输入，随后设计一种注意力引导风格迁移网络，分别从注意力区域与背景（bkgd）区域学习风格特征，从完整区域与注意力区域学习内容特征。此外，我们提出一种新颖的区域级任务引导损失，以约束从风格与内容中学习到的特征。实验采用定性定量混合研究方法，证明了在复杂方向上净化真实图像的可能性。我们在 LPW、COCO 和 MPIIGaze 三个公开数据集上评估所提方法。大量实验结果表明该方法有效，并取得了 SOTA 结果。
引用
@article{arxiv.2002.06145,
title = {Purifying Real Images with an Attention-guided Style Transfer Network for Gaze Estimation},
author = {Yuxiao Yan and Yang Yan and Jinjia Peng and Huibing Wang and Xianping Fu},
journal= {arXiv preprint arXiv:2002.06145},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:1903.05820, arXiv:1903.08152; and text overlap with arXiv:1603.08155 by other authors