RealFill：基于参考驱动的真实图像补全生成方法

Luming Tang; Nataniel Ruiz; Qinghao Chu; Yuanzhen Li; Aleksander Holynski; David E. Jacobs; Bharath Hariharan; Yael Pritch; Neal Wadhwa; Kfir Aberman; Michael Rubinstein

doi:10.1145/3658237

RealFill：基于参考驱动的真实图像补全生成方法

计算机视觉与模式识别 2024-05-15 v2 人工智能图形学机器学习

作者: Luming Tang , Nataniel Ruiz , Qinghao Chu , Yuanzhen Li , Aleksander Holynski , David E. Jacobs , Bharath Hariharan , Yael Pritch , Neal Wadhwa , Kfir Aberman , Michael Rubinstein

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

生成图像的最新进展带来了外补绘与内补绘模型，它们能在未知区域生成高质量、合理的图像内容。然而，这些模型幻觉出的内容必然是不真实的，因为它们不了解真实场景。在本工作中，我们提出 RealFill，一种新颖的图像补全生成方法，用本应存在于缺失区域的内容来填充图像。RealFill 是一种生成式内补绘模型，仅使用场景的少量参考图像进行个性化。这些参考图像无需与目标图像对齐，且可具有截然不同的视点、光照条件、相机光圈或图像风格。一旦完成个性化，RealFill 能够以忠实于原始场景的视觉引人入胜的内容补全目标图像。我们在一个涵盖多样且具有挑战性场景的新图像补全基准上评估 RealFill，发现它以大幅优势优于现有方法。项目主页：https://realfill.github.io

关键词

图像补全生成式内补绘参考驱动生成个性化场景保真图像合成

引用

@article{arxiv.2309.16668,
  title  = {RealFill: Reference-Driven Generation for Authentic Image Completion},
  author = {Luming Tang and Nataniel Ruiz and Qinghao Chu and Yuanzhen Li and Aleksander Holynski and David E. Jacobs and Bharath Hariharan and Yael Pritch and Neal Wadhwa and Kfir Aberman and Michael Rubinstein},
  journal= {arXiv preprint arXiv:2309.16668},
  year   = {2024}
}

备注

SIGGRAPH 2024 (Journal Track). Project page: https://realfill.github.io

RealFill：基于参考驱动的真实图像补全生成方法

摘要

关键词

引用

备注

相关论文