利用语义布局预测增强图像外推
计算机视觉与模式识别
2021-10-19 v1
摘要
图像外推的目标是扩展图像当前边界，并基于已知区域生成新区域。以往的方法采用生成对抗网络（GANs）来合成逼真图像。然而，当外推区域复杂且包含多种物体时，缺乏显式的语义表示会导致图像像素模糊和异常。在本工作中，我们将外推任务分解为两个阶段。首先，我们训练一个 GAN 在语义分割域而非图像域中扩展区域。其次，训练另一个 GAN 模型基于扩展后的语义布局合成真实图像。第一个模型关注诸如尺寸、类别和其他语义线索等低频上下文，而第二个模型关注诸如颜色和纹理等高频上下文。通过这种设计，我们的方法能够更轻松地处理语义线索，从而在复杂场景中表现更佳。我们在多个数据集上评估了该框架，并进行了定量和定性分析。实验表明，我们的方法生成了合理的扩展语义布局和图像，优于 SOTA 模型。
引用
@article{arxiv.2110.09267,
title = {Boosting Image Outpainting with Semantic Layout Prediction},
author = {Ye Ma and Jin Ma and Min Zhou and Quan Chen and Tiezheng Ge and Yuning Jiang and Tong Lin},
journal= {arXiv preprint arXiv:2110.09267},
year = {2021}
}