ReshapeGAN：通过提供单张参考图像实现物体重塑
计算机视觉与模式识别
2019-05-17 v1 机器学习
摘要
本工作的目标是学习将输入图像中的物体重塑为任意新形状，仅需提供一张具有所需形状物体实例的单参考图像。我们针对此类物体重塑问题提出一种新的生成对抗网络(GAN)架构，名为 ReshapeGAN。该网络可定制以处理各类问题设定，包括域内(或单数据集)重塑与跨域(通常跨多个数据集)重塑，且可使用成对或非成对训练数据。输入物体的外观在所有情形下均被保留，因而重塑后仍可辨识，据我们所知此前从未实现。我们给出所提 ReshapeGAN 针对所有问题设定的定制模型，并在 13 个不同数据集上的 8 类重塑任务中进行测试，展示了 ReshapeGAN 生成令人信服且优越的物体重塑结果的能力。据我们所知，我们是首个使单一 GAN 框架可作用于所有此类物体重塑任务者，尤其是处理多个多样数据集的跨域任务。我们在此给出对所提 ReshapeGAN 模型的消融研究，以及与最先进模型在可比较时的对比，使用了我们所知的所有适用度量指标。
引用
@article{arxiv.1905.06514,
title = {ReshapeGAN: Object Reshaping by Providing A Single Reference Image},
author = {Ziqiang Zheng and Yang Wu and Zhibin Yu and Yang Yang and Haiyong Zheng and Takeo Kanade},
journal= {arXiv preprint arXiv:1905.06514},
year = {2019}
}
备注
25 pages, 23 figures