DISCO：利用大语言模型蒸馏反事实数据
计算与语言
2023-06-07 v3
摘要
使用反事实增强数据训练的模型能够学习任务的因果结构表示，从而实现稳健的泛化。然而，对于大多数任务而言，高质量的反事实数据稀缺且难以大规模生成。通过众包获取的此类数据通常在规模和多样性上受限；而使用监督学习方法生成时，将其扩展至新的反事实维度则计算成本高昂。在本工作中，我们提出了 DISCO (DIStilled COunterfactual Data)，一种大规模自动生成高质量反事实数据的新方法。DISCO 设计提示词，利用大型通用语言模型生成短语扰动。随后，使用特定任务的教师模型过滤这些生成内容，以蒸馏出高质量的反事实数据。尽管该方法与任务无关，我们将该流程应用于自然语言推理 (NLI) 任务，并发现在 NLI 压力测试等具有挑战性的评估中，使用 DISCO 生成的反事实数据训练的较小学生模型，相比于未使用数据增强训练的模型，具有更强的鲁棒性（绝对值提升 6%）以及更好的跨分布泛化能力（提升 2%）。此外，在三个评估集上，DISCO 增强的模型在反事实对之间的一致性提高了 10%，这表明 DISCO 增强能够使模型更可靠地学习因果表示。我们的代码库位于：https://github.com/eric11eca/disco
引用
@article{arxiv.2212.10534,
title = {DISCO: Distilling Counterfactuals with Large Language Models},
author = {Zeming Chen and Qiyue Gao and Antoine Bosselut and Ashish Sabharwal and Kyle Richardson},
journal= {arXiv preprint arXiv:2212.10534},
year = {2023}
}
备注
ACL 2023 camera ready, final title change