链式烹饪：通过双向链式思维引导的烹饪过程可视化

烹饪过程可视化是图像生成与食物分析交叉领域的热门任务，旨在为食谱的每个烹饪步骤生成一张图像。然而，现有大多数工作侧重于根据给定食谱生成成品食物图像，面临两个挑战以实现烹饪过程可视化。第一，食材在不同烹饪步骤中的外观各异，难以生成与文本描述相匹配的正确外观，导致语义不一致。第二，当前步骤可能取决于前一步的操作，维持图像在顺序序列中的语义一致性至关重要。在本工作中，我们提出了烹饪过程可视化模型，称为Chain-of-Cooking。具体而言，为生成食材的正确外观，我们提出了动态补丁选择模块，用于检索与当前文本内容最相关的先前生成图像的补丁。此外，为增强一致性并保持合理的顺序，我们提出了语义演化模块和双向链式思维(CoD)引导。为更好地利用前述文本的语义，语义演化模块在潜在提示与当前烹饪步骤之间建立语义关联，并与潜在特征融合。随后，CoD引导更新合并后的特征，以引导当前烹饪步骤与前一步骤保持一致。此外，我们构建了一个名为CookViz的数据集，包含烹饪过程的中间图像-文本对。定量和定性实验表明，我们的方法在生成连贯且语义一致的烹饪过程中方面优于现有方法。