基于情节引导的对抗样本构建以评估开放域故事生成

随着开放域故事生成的最新进展，缺乏可靠的自动评价指标已成为阻碍故事生成快速发展的日益紧迫的问题。根据这方面已开展的研究，可学习的评价指标通过与人类判断具有更高的相关性，有望提供更准确的评估。获得可靠可学习评价指标的一个关键瓶颈是缺乏高质量训练数据，以使分类器能有效区分合理与不合理的机器生成故事。先前的工作依赖于对合理示例进行启发式操纵，以在文本层面模仿可能的系统缺陷，如重复、矛盾或无关内容，这可能不自然且过度简化了不合理机器生成故事的特征。我们提出通过使用情节（plots）生成更全面的不可信故事集来解决这些问题，情节是用于生成故事的可控因素的结构化表示。由于这些情节紧凑且结构化，更容易操纵它们以生成具有目标不良属性的文本，同时保持生成句子的语法正确性与自然性。为提高生成的不可信故事的质量，我们进一步应用了 \citet{zellers2018swag} 提出的对抗过滤程序，以筛选出更细微的不可信文本集。实验表明，在我们生成的数据上训练的评价指标相较于基线，产生了更可靠的自动评估，其与人类判断的相关性显著更好。