MagicBrush：一个用于指令引导图像编辑的人工标注数据集

文本引导的图像编辑在日常生活中被广泛需要，从个人使用到 Photoshop 等专业应用。然而，现有方法要么是零样本，要么在自动合成的数据集上训练，后者包含大量噪声。因此，在实践中它们仍需要大量手动调参以产生理想结果。为解决此问题，我们引入 MagicBrush（https://osu-nlp-group.github.io/MagicBrush/），这是首个大规模、人工标注的用于指令引导真实图像编辑的数据集，涵盖多种场景：单轮、多轮、提供掩码和无掩码编辑。MagicBrush 包含超过 10K 个人工标注的三元组（源图像、指令、目标图像），可支持训练大规模文本引导图像编辑模型。我们在 MagicBrush 上微调 InstructPix2Pix，结果表明新模型根据人工评估可生成好得多的图像。我们进一步开展大量实验，从定量、定性和人工评估等多个维度评测当前图像编辑基线。结果揭示了本数据集的挑战性以及当前基线与真实编辑需求之间的差距。