因果文档接地对话预训练

文档接地对话(DocGD)的目标是根据对话上下文,通过支撑文档中的证据接地来生成回复。该过程涉及四个具有因果关联的变量。近来,任务特定预训练极大提升了诸多下游任务性能。然而,现有 DocGD 方法仍依赖通用预训练语言模型,缺乏显式捕捉因果关系的专门预训练方法。为解决此问题,我们首次提出一种因果完备的数据集构建策略,用于构建百万级 DocGD 预训练语料。为更好捕捉因果性,我们进一步提出因果扰动预训练策略,该策略在变量上引入因果扰动并优化整体因果效应。在三个基准数据集上的实验表明,我们的因果预训练在完全监督、低资源、少样本和零样本设置下均取得可观且一致的提升。