从单幅图像与视频中学习生成新颖的场景组合
计算机视觉与模式识别
2021-05-13 v1 机器学习
摘要
在低数据量场景下训练GAN仍然是一项挑战，因为过拟合常导致记忆化或训练发散。在本工作中，我们提出One-Shot GAN，能够从少至一张图像或一段视频的训练集中学习生成样本。我们设计了一个双分支判别器，包含内容分支与布局分支，分别用于判断内部内容与场景布局的真实性。这使得在保持原始样本语境的同时，能够合成视觉上合理、具有不同内容与布局的新颖场景组合。与以往的单图像GAN模型相比，One-Shot GAN实现了更高的合成多样性与质量。它也不局限于单图像设定，在引入的单视频设定中同样能成功学习。
引用
@article{arxiv.2105.05847,
title = {Learning to Generate Novel Scene Compositions from Single Images and Videos},
author = {Vadim Sushko and Juergen Gall and Anna Khoreva},
journal= {arXiv preprint arXiv:2105.05847},
year = {2021}
}
备注
The AI for Content Creation (AICC) workshop at CVPR 2021. The full 8-page version of this submission is available at arXiv:2103.13389