CLIPAway: 通过扩散模型实现去除物体的聚焦嵌入
计算机视觉与模式识别
2024-06-14 v1
摘要
先进的图像编辑技术，特别是图像修复，对在保持视觉完整性的同时移除不受欢迎的元素至关重要。传统的 GAN-based 方法取得了显著成功，但最近的扩散模型由于在大规模数据集上训练，产生了优异结果，使生成的图像修复效果极具现实性。尽管具有这些优势，扩散模型在缺乏明确指导的情况下进行对象移除任务时常常难以处理，导致移除的对象被意外幻觉化。为此，我们引入 CLIPAway，一种新方法利用 CLIP 嵌入聚焦于背景区域，同时排除前景元素。CLIPAway 通过识别优先考虑背景的嵌入，提高了图像修复的准确性和质量，从而实现无缝的对象移除。与其他依赖专门训练数据集或高成本手动标注的方法不同，CLIPAway 提供了一个灵活、即插即用的数据驱动解决方案，可与各种基于扩散模型的图像修复技术兼容。
引用
@article{arxiv.2406.09368,
title = {CLIPAway: Harmonizing Focused Embeddings for Removing Objects via Diffusion Models},
author = {Yigit Ekin and Ahmet Burak Yildirim and Erdem Eren Caglar and Aykut Erdem and Erkut Erdem and Aysegul Dundar},
journal= {arXiv preprint arXiv:2406.09368},
year = {2024}
}
备注
Project page: https://yigitekin.github.io/CLIPAway/