生成与修订：神经诗歌创作中的强化学习

作家、诗人、歌手通常并非一气呵成地完成其作品。文本会被反复审视、调整、修改、重述，甚至多次重写，以更好地传达作者想要表达的意义、情感与感受。在崇高的书面艺术中，诗歌或许是最需要精雕细琢的一种，因为其创作在形式上必须遵循预设的格律与押韵 scheme。在本文中，我们提出一个框架，使诗歌像人类一样被反复审视与修正，从而提升其整体质量。我们将诗歌修订问题置于强化学习语境中，具体而言采用近端策略优化（Proximal Policy Optimization）。我们的模型从零开始生成诗歌，并学习逐步调整所生成的文本以匹配目标准则。我们在匹配押韵 scheme 的情形下评估该方法，且没有任何关于哪些词负责产生押韵以及如何连贯地改动诗歌词语的信息。所提框架具有通用性，在适当的奖励塑形（reward shaping）下，可应用于其他文本生成问题。