DreamEdit：主体驱动的图像编辑

主体驱动图像生成旨在生成包含定制主体的图像，近来引起了研究界的巨大关注。然而，以往工作无法精确控制目标主体的背景与位置。本工作中，我们致力于填补这一空白并提出两个新颖的主体驱动子任务，即主体替换与主体添加。新任务在多方面具有挑战性：用定制主体替换某主体会改变其形状、纹理与颜色，而将目标主体添加到所给场景的指定位置需要上下文感知的姿态。为攻克这两个新任务，我们首先人工整理了一个包含 22 种不同类型主体及 440 张不同难度源图像的新数据集 DreamEditBench。我们计划将 DreamEditBench 作为平台并聘请训练有素的评估者进行标准人工评估。我们还设计了一种创新方法 DreamEditor，通过执行迭代生成来解决这些任务，从而实现向定制主体的平滑适配。本项目中，我们进行了自动与人工评估，以了解 DreamEditor 及基线方法在 DreamEditBench 上的表现。对于主体替换，我们发现现有模型对原主体的形状和颜色敏感，当源主体与目标主体差异很大时模型失败率会急剧上升。对于主体添加，我们发现现有模型无法轻易将定制主体平滑融入背景，导致生成图像中出现明显伪影。我们希望 DreamEditBench 能成为一个标准平台，推动未来构建更具可控性的主体驱动图像编辑的研究。我们的项目主页为 https://dreameditbenchteam.github.io/。