EmoStory：情感感知的故事生成

故事生成旨在生成能够呈现连贯叙事的图像序列，同时在画面之间保持主体一致性。虽然已有方法在生成连贯且有表现力的故事方面取得了优异成绩，但它们仍然在情感中保持相对中性，仅关注故事中主体的出现，忽略了情感如何塑造叙事解释和视觉呈现。由于故事旨在情感上吸引观众，我们引入情感感知的故事生成，这是一项新的任务，旨在生成具有明确情感指示的、保持主体一致性的视觉故事。由于情感的抽象性，必须将其锚定在具体的视觉元素上，并通过视觉构图在叙事中持续表达，这使得该任务具有挑战性。为此，我们提出了 EmoStory，一个两阶段框架，集成了基于智能体的故事规划和区域感知的故事生成。规划阶段将目标情感转化为具有情感智能体和作家智能体的连贯故事提示，而生成阶段通过区域感知构图保留主体一致性并注入情感相关元素。我们在覆盖 25 个主体和 600 条情感故事的新构建数据集上评估了 EmoStory。大量定量和定性结果，以及用户研究，表明 EmoStory 在情感准确性、提示对齐和主体一致性方面均优于最先进的故事生成方法。