Future Sight：基于大型预训练语言模型的动态故事生成

深度学习研究的最新进展（如 Transformer）增强了自动智能体生成类似人类所写创造性文本的能力。默认情况下，Transformer 解码器只能基于已生成的文本生成新文本。任意位置候选词的输出分布通过自注意力机制以先前所选词为条件，以模拟自回归特性。这对于可控故事生成等任务具有内在局限性，因为写故事时可能有必要以未来情节事件为条件。本工作中，我们提出 Future Sight，一种在未来条件化任务上微调预训练生成式 Transformer 的方法。Transformer 解码器通常通过自注意力逐词补全上下文的预训练任务进行训练。Future Sight 额外使解码器能够关注编码后的未来情节事件。这促使解码器以逻辑上由所给未来收尾的方式扩展上下文。推理期间，未来情节事件可由人类作者撰写，以将生成叙事引向特定方向。我们在故事生成任务上通过人类评估者评估了方法的有效性。