Inversion-by-Inversion：基于范例且无需训练的随机微分方程草图到照片合成

基于范例的草图到照片合成允许用户根据草图生成照片级真实感图像。近来，基于扩散的方法在图像生成任务上取得了令人印象深刻的性能，能够通过文本驱动生成或能量函数实现高度灵活的控制。然而，对于扩散模型而言，从草图图像生成具有颜色和纹理的照片级真实感图像仍然具有挑战性。草图通常仅由少量笔画组成，大部分区域留白，使得基于扩散的方法难以生成照片级真实感图像。在本工作中，我们提出了一种名为“Inversion-by-Inversion”的两阶段方法，用于基于范例的草图到照片合成。该方法包括形状增强反演和全控制反演。在形状增强反演过程中，在形状能量函数的引导下生成一张未上色的照片。此步骤对于确保对生成照片形状的控制至关重要。在全控制反演过程中，我们提出一种外观能量函数来控制最终生成照片的颜色和纹理。重要的是，我们的Inversion-by-Inversion流程无需训练，并且可以接受不同类型的范例来进行颜色和纹理控制。我们进行了大量实验来评估所提方法，结果证明了其有效性。代码和项目见 https://ximinng.github.io/inversion-by-inversion-project/。