FaithFill：基于单一参考图像的忠实对象填充
计算机视觉与模式识别
2024-06-13 v1 人工智能
机器学习
摘要
我们提出了 FaithFill，一种基于扩散模型的对象填充完成方法，用于从单一输入参考图像生成真实的缺失对象部分。通常需要多个参考图像才能实现如此真实的生成，否则生成的图像将无法忠实地保留形状、纹理、颜色和背景。在本工作中，我们提出了仅使用单个输入参考图像（具有 varying 照明、背景、物体姿态和/或视角）的管道。该唯一的参考图像用于生成要填充的物体的多个视角。我们展示了 FaithFill 能从单个参考图像生成忠实的物体缺失部分，同时保留背景/场景。通过标准相似性指标、人类判断和 GPT 评估均证实了这一点。我们的结果展示在 DreamBooth 数据集上，并提出了一个新的数据集。
引用
@article{arxiv.2406.07865,
title = {FaithFill: Faithful Inpainting for Object Completion Using a Single Reference Image},
author = {Rupayan Mallick and Amr Abdalla and Sarah Adel Bargal},
journal= {arXiv preprint arXiv:2406.07865},
year = {2024}
}