基于图像与文本引导免微调的图像定制

尽管基于扩散模型的图像定制取得了显著进展，但当前方法仍存在几个局限性：1）重新生成整个图像时非目标区域发生意外变化；2）仅由参考图像或文本描述引导；3）耗时的微调，这限制了它们的实际应用。作为回应，我们引入了一个免微调框架，用于同时进行文本和图像引导的图像定制，能够在几秒钟内对特定图像区域进行精确编辑。我们的方法保留了参考图像主体的语义特征，同时允许根据文本描述修改细节属性。为此，我们提出了一种创新的注意力混合策略，在去噪过程中混合 UNet 解码器中的自注意力特征。据我们所知，这是首个在特定区域中同时利用文本和图像引导进行图像定制的免微调方法。我们的方法在人工和定量评估中均优于以前的方法，为各种实际应用（如图像合成、设计和创意摄影）提供了高效的解决方案。