来自不可信教师的诚实学生：从预训练语言模型学习可解释的问答流水线

可解释的问答系统不仅应给出准确答案，还应提供证明其推理并允许人类核查的依据(rationale)。但何种依据是有用的，又如何训练系统生成它们？我们提出一种用于开卷问答的新型依据形式，称为 markup-and-mask（标注与掩码），它结合了抽取式与自由文本解释的特点。在标注阶段，对段落增补自由文本标注，使每个句子在脱离语篇上下文时也能独立成立。在掩码阶段，选取标注后段落的一个子跨度。为在无标注情况下训练系统产生 markup-and-mask 依据，我们利用了上下文学习(in-context learning)。具体而言，我们通过向一个冻结的预训练语言模型（充当教师）发送一系列提示来生成银标注(silver annotated)数据。然后我们在导致正确答案的那些依据子集上训练来微调一个较小的学生模型。该学生是“诚实的”，在于它是一个流水线：依据充当段落与答案之间的瓶颈，而“不可信的”教师则不受此类约束。因此，我们提供了一种从端任务标注与冻结预训练语言模型组合构建可信流水线系统的新途径。