通过实时风格迁移语义网络净化自然图像
计算机视觉与模式识别
2019-03-15 v1 图像与视频处理
摘要
近来，学习即合成（learning-by-synthesis）的进展提出了一种针对合成图像的训练模型，可有效降低人力与物力成本。然而，由于合成图像与真实图像分布不同，仍无法达到预期性能。真实图像包含多种光照方向形式，而合成图像具有均匀光照方向。这些特征分别被视为室外与室内场景的特征。为解决该问题，先前方法学习一个模型以提升合成图像的真实感。与先前方法不同，本文首次尝试净化真实图像。通过风格迁移任务，将室外真实图像的分布转换为室内合成图像，从而降低光照影响。因此，本文提出一种实时风格迁移网络，在推断风格图像（合成图像）的风格信息（如图像颜色结构、语义特征）的同时，保留输入图像（真实图像）的图像内容信息（如注视方向、瞳孔中心位置）。此外，该网络加快了模型的收敛速度并适应多尺度图像。实验采用混合研究（定性与定量）方法，以证明在复杂方向上净化真实图像的可能性。在定性方面，在 LPW 数据集的一系列室内与室外场景中将所提方法与现有方法进行比较。在定量方面，通过在跨数据集上训练注视估计模型来评估净化后的图像。结果表明，与原始真实图像相比，相较基线方法取得显著提升。
引用
@article{arxiv.1903.05820,
title = {Purifying Naturalistic Images through a Real-time Style Transfer Semantics Network},
author = {Tongtong Zhao and Yuxiao Yan and Ibrahim Shehi Shehu and Xianping Fu and Huibing Wang},
journal= {arXiv preprint arXiv:1903.05820},
year = {2019}
}