基于 U-Transformer 的通用图像外推
计算机视觉与模式识别
2022-09-15 v5
摘要
在本文中,我们提出了一种名为 U-Transformer 的、基于 Transformer 的生成对抗神经网络,用于通用图像外推问题。与大多数现有进行水平外推的图像外推方法不同,我们的通用图像外推能够围绕给定图像在所有方向外推视觉上下文,即使对于复杂的风景、建筑和艺术图像也能生成合理的结构和细节。具体而言,我们将生成器设计为嵌入了流行的 Swin Transformer 块的编码器—解码器结构。因此,我们的新型神经网络能更好地处理对通用图像外推至关重要的图像长程依赖。我们还提出了一种 U 形结构和多视角时空预测器(TSP)模块,以平滑且真实地强化图像自重建以及未知部分预测。通过在测试阶段调整 TSP 模块中的预测步长,我们可以在给定输入子图像时生成任意大小的外推图像。我们通过实验证明,相较于最先进的图像外推方法,我们提出的方法能为通用图像外推生成视觉上令人满意的结果。
引用
@article{arxiv.2201.11403,
title = {Generalised Image Outpainting with U-Transformer},
author = {Penglei Gao and Xi Yang and Rui Zhang and John Y. Goulermas and Yujie Geng and Yuyao Yan and Kaizhu Huang},
journal= {arXiv preprint arXiv:2201.11403},
year = {2022}
}