事件定制图像生成

定制化图像生成（Customized Image Generation）指根据用户指定的概念生成定制化图像，因其创造性和新颖性而引起广泛关注。虽然在主体定制（subject customization）方面取得了显著进展，但一些开创性工作进一步探索了动作和相互作用（interaction）的定制化，超越实体（即人类、动物和物体）的外观。然而，这些方法仅关注实体之间最基本的动作和相互作用，其效果受限于不足的“完全相同”参考图像。为将定制化图像生成扩展到更复杂的场景以适应实际应用场景，本文提出了一种新任务：事件定制化图像生成（event-customized image generation）。给定单一参考图像，我们将“事件”定义为场景中不同实体之间的所有特定动作、姿态、关系或相互作用。该任务旨在精准捕捉复杂事件，并生成包含各种目标实体的定制化图像。为解决这一任务，我们提出了一种新型无训练事件定制方法：FreeEvent。具体而言，FreeEvent在通用的扩散去噪过程中引入两条额外路径：1）实体切换路径：通过交叉注意力引导和调节实现目标实体的生成。2）事件传递路径：将参考图像中的空间特征和自注意力图注入目标图像，以实现事件生成。为进一步促进这一新任务的发展，我们收集了两个评估基准：SWiG-Event和Real-Event。大量实验和消融实验表明，FreeEvent的有效性。