Click2Mask：基于动态掩码生成的局部编辑
计算机视觉与模式识别
2025-01-09 v2 图形学
机器学习
摘要
生成模型的最新进展彻底改变了图像生成与编辑，使非专家也能执行这些任务。本文聚焦于局部图像编辑，特别是向粗略指定区域添加新内容的任务。现有方法通常需要精确的掩码或对位置的详细描述，这可能既繁琐又容易出错。我们提出了 Click2Mask，一种简化局部编辑过程的新方法，仅需一个参考点（以及内容描述）。在 Blended Latent Diffusion (BLD) 过程中，在基于掩码的 CLIP 语义损失的引导下，掩码围绕该点动态生长。Click2Mask 克服了基于分割和依赖微调方法的局限性，提供了一种更用户友好且在上下文上更准确的解决方案。我们的实验表明，根据人类判断和自动指标，Click2Mask 不仅将用户工作量降至最低，而且与 SoTA 方法相比，能够实现具有竞争力或更优的局部图像操作。主要贡献包括简化用户输入、能够不受现有分割限制自由添加物体，以及我们的动态掩码方法在其他编辑方法中的集成潜力。
引用
@article{arxiv.2409.08272,
title = {Click2Mask: Local Editing with Dynamic Mask Generation},
author = {Omer Regev and Omri Avrahami and Dani Lischinski},
journal= {arXiv preprint arXiv:2409.08272},
year = {2025}
}
备注
Accepted to AAAI 2025. Project page is available at https://omeregev.github.io/click2mask/