LoMOE：通过多扩散实现局部化多物体编辑

扩散模型领域的最新发展展示了生成高质量提示条件图像编辑的卓越能力。然而，先前的方法主要依赖文本提示进行图像编辑，这在包含单个或多个物体的场景中对特定物体或细粒度区域进行精确编辑时往往效果不佳。我们引入了一种新颖的零样本局部化多物体编辑框架，通过多扩散过程来克服这一挑战。该框架使用户能够在一次操作中對复杂场景中的物体执行各种操作，例如添加、替换或编辑许多物体。我们的方法利用前景掩码和相应的简单文本提示，对目标区域施加局部影响，从而实现高保真度的图像编辑。潜在空间中交叉注意力与背景保持损失的结合，确保了被编辑物体的特征得以保留，同时实现了高质量、无缝的背景重建，且伪影少于当前方法。我们还策划并发布了一个专用于多物体编辑的数据集，名为 LoMOE-Bench。与现有最先进方法的实验对比表明，我们的方法在图像编辑质量和推理速度方面均具有更高的有效性。