面向一致故事可视化的对象隔离注意机制

开放式故事可视化是一个具有挑战性的任务，需要从给定的情节剧本生成连贯的图像序列。主要难点之一是在创建自然且情境恰当的场景时保持人物一致性——许多现有方法在这方面存在困难。本文提出了一个增强Transformer模块，采用独立的自注意力和交叉注意力机制，利用来自预训练扩散模型的先验知识，以确保逻辑的场景创建。隔离自注意力机制通过细化注意力图来减少对无关区域的关注，并突出同一人物的关键特征，从而提高人物一致性。同时，隔离交叉注意力机制独立处理每个人物的特征，避免特征融合，从而进一步加强一致性。值得注意的是，我们的方法无需训练，允许在不重新调参的情况下持续生成新的人物和故事情节。定性和定量评估表明，我们的方法优于当前方法，显示其有效性。