ST-GAN：用于图像合成的空间变换生成对抗网络
计算机视觉与模式识别
2018-03-06 v1 机器学习
摘要
我们解决为前景对象寻找逼真几何校正的问题，使其合成到背景图像中时显得自然。为此，我们提出一种新颖的生成对抗网络（GAN）架构，其使用空间变换网络（STN）作为生成器，我们称之为空间变换 GAN（ST-GAN）。ST-GAN 通过在几何扭曲参数空间中操作来追求图像真实感。特别地，我们利用迭代 STN 扭曲方案，并提出一种顺序训练策略，与朴素训练单个生成器相比取得了更好的结果。ST-GAN 的一个关键优势是它可间接应用于高分辨率图像，因为预测的扭曲参数可在参考帧之间迁移。我们在两个应用中展示我们的方法：（1）可视化室内家具（例如来自产品图像）在房间中可能呈现的样子，（2）想象眼镜等配饰与真实肖像匹配时的外观。
引用
@article{arxiv.1803.01837,
title = {ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing},
author = {Chen-Hsuan Lin and Ersin Yumer and Oliver Wang and Eli Shechtman and Simon Lucey},
journal= {arXiv preprint arXiv:1803.01837},
year = {2018}
}
备注
Accepted to CVPR 2018 (website & code: https://chenhsuanlin.bitbucket.io/spatial-transformer-GAN/)