面向指令引导图像编辑的早期时间步零样本候选选择

尽管近期在扩散模型方面取得了进展，但由于抽样过程中引入的内在多样性，实现可靠的图像生成和编辑仍具有挑战。指令引导的图像编辑为用户提供了友好的功能，但编辑失败（如背景失真）仍频繁发生。用户常常通过调整随机种子或提示来获得满意的结果，这既低效又浪费。虽然存在用于 Text-to-Image (T2I) 生成的随机种子选择方法，但它们依赖于外部验证器，限制了适用性，同时评估多个随机种子会增加计算复杂度。为此，我们首先建立一个基于背景一致性得分的多随机种子图像编辑基线，实现无监督的 Best-of-N 性能。基于此，我们引入 ELECT（Early-timestep Latent Evaluation for Candidate Selection），一个零样本框架，通过估计早期扩散时间步上的背景不匹配来选择可靠随机种子，识别出在仅修改前景而保留背景的随机种子。ELECT 通过背景不一致得分对随机种子候选者进行排序，在保持编辑能力的同时基于背景一致性提前过滤不合适的样本。除了作为独立的随机种子选择器外，ELECT 还能集成到指令引导的编辑管道中，并扩展到多模态大语言模型 (MLLMs) 以进行联合随机种子和提示选择，从而在仅凭随机种子选择难以获得满意结果时进一步提升效果。实验表明，ELECT 在平均降低计算成本 41%（最高可降低 61%），同时提高了背景一致性和指令遵循水平，在此前失败的案例中实现约 40% 的成功率——且无需任何外部监督或训练。