Inpaint Anything：Segment Anything 遇见图像修复
计算机视觉与模式识别
2023-04-17 v1
摘要
现代图像修复系统尽管取得了显著进展，却常在掩码选择与孔洞填充上遇到困难。基于 Segment-Anything Model（SAM），我们首次尝试无掩码图像修复，并提出一种“点击并填充”的新范式，命名为 Inpaint Anything（IA）。IA 背后的核心思想是结合不同模型的优势，以构建用于解决修复相关问题的强大且用户友好的流水线。IA 支持三大主要功能：（i）Remove Anything：用户可点击某物体，IA 会移除它并用上下文平滑“孔洞”；（ii）Fill Anything：在某些物体被移除后，用户可向 IA 提供基于文本的提示，随后它通过驱动如 Stable Diffusion 等 AIGC 模型用相应生成内容填充孔洞；（iii）Replace Anything：借助 IA，用户另有选择保留点击选中的物体并将剩余背景替换为新生成的场景。我们也非常乐意帮助大家基于我们的 Inpaint Anything（IA）分享和推广新项目。我们的代码见 https://github.com/geekyutao/Inpaint-Anything。
引用
@article{arxiv.2304.06790,
title = {Inpaint Anything: Segment Anything Meets Image Inpainting},
author = {Tao Yu and Runseng Feng and Ruoyu Feng and Jinming Liu and Xin Jin and Wenjun Zeng and Zhibo Chen},
journal= {arXiv preprint arXiv:2304.06790},
year = {2023}
}
备注
Technical report. Code URL: https://github.com/geekyutao/Inpaint-Anything