中文

抛弃 GAN:为作为单图像生成模型的近邻块方法辩护

计算机视觉与模式识别 2021-08-25 v2

摘要

单图像生成模型通过捕捉单幅图像内部块的分布在合成与处理任务中发挥作用。此类任务经典的(深度学习之前)主流方法基于优化过程,最大化输入与生成输出之间的块相似度。然而近来,单图像 GAN 被提出,既作为此类处理任务的更优解,也用于显著新颖的生成任务。尽管令人印象深刻,单图像 GAN 对每幅图像、每项任务都需漫长训练时间(通常数小时),常出现伪影,并易受模式崩溃等优化问题影响。本文中,我们展示所有这类任务均可在无任何训练、数秒内、于一个统一且惊人简单的框架中完成。我们重访并将“老牌”基于块的方法重构为新颖的无优化框架。我们从初始粗猜测出发,随后仅使用块近邻搜索由粗到细地细化细节。这比 GAN 更好且更快地生成随机新图像。我们进一步展示了广泛应用,如图像编辑与重排、重定目标至不同尺寸、结构类比、图像拼贴,以及新引入的条件修复任务。我们的方法不仅更快(比 GAN 快 ×103\times 10^3×104\times 10^4),而且产生优于以往任何方法(无论基于 GAN 还是经典基于块)的结果(经定量与定性评估确认),伪影更少、全局结构更逼真。

关键词

引用

@article{arxiv.2103.15545,
  title  = {Drop the GAN: In Defense of Patches Nearest Neighbors as Single Image Generative Models},
  author = {Niv Granot and Ben Feinstein and Assaf Shocher and Shai Bagon and Michal Irani},
  journal= {arXiv preprint arXiv:2103.15545},
  year   = {2021}
}

备注

11 pages, 10 figures, added references and acknowledgments