词级细粒度故事可视化

故事可视化旨在生成一系列图像，以叙述多句故事中的每一句话，并在动态场景与角色间保持全局一致性。当前工作仍受困于输出图像的质量与一致性，且依赖额外的语义信息或辅助描述网络。为应对这些挑战，我们首先引入一种新的句子表示，其融合了所有故事句子的词信息以缓解不一致问题。随后，我们提出一种具有融合特征的新判别器，并进一步扩展空间注意力以提升图像质量与故事一致性。在不同数据集上的大量实验及人工评估表明，相较最先进的方法，我们的方法性能更优，且既未使用分割掩码也未使用辅助描述网络。