基于语义的自批判训练用于问题生成

问题生成是一项条件语言生成任务，其目标是在给定上下文与目标答案的情况下生成上下文相关的问题。仅以似然最大化训练语言模型已被广泛使用，但却饱受暴露偏差以及训练与测试指标不一致之苦。为解决此问题，本文提出一种完全基于 Transformer 的强化学习生成器-评价器架构用于神经问题生成。为增强生成的灵活性，在训练过程中外部注入了基于语义的奖励分数以引导语言模型的训练。整体架构以生成器-评价器形式布局，直接针对 n-gram 与基于语义的指标进行优化。仅基于 n-gram 重叠的语言建模评价指标未考虑参考序列与候选序列之间的语义关系。为改进评价步骤，我们进行了双重评价。一方面，使用 BLEU 分数进行 n-gram 重叠评价。另一方面，使用 BERTScore 与 NUBIA 进行基于语义的评估。结果通过二元人工评价所生成问题与地面真值的语义相关性得到证实。所得结果表明，使用基于语义的 REINFORCE 算法进行问题生成在句法上重塑了生成的问题，同时保留了其底层语义。成功的问题生成可带来许多下游应用，包括扩充问答数据集、改进对话系统、增强自主教育评估系统等。