CORE：一种用于反事实数据生成的检索后编辑框架
计算与语言
2022-11-02 v2
摘要
反事实数据增强（CDA）——即在训练期间加入最小扰动的输入——有助于减少模型对虚假相关性的依赖，并改善对分布外（OOD）数据的泛化。先前关于生成反事实的工作仅考虑了受限类的扰动，限制了其有效性。我们提出通过检索与编辑的反事实生成（CORE），一种检索增强生成框架，用于为 CDA 创建多样的反事实扰动。对于每个训练样例，CORE 首先使用学习的双编码器在任务相关的无标注文本语料库上执行稠密检索，并提取相关的反事实片段。CORE 随后将这些片段整合进具有少样本学习能力的提示中，提供给大型语言模型以进行反事实编辑。以自然出现的数据为条件进行语言模型编辑可产生多样扰动。在自然语言推理和情感分析基准上的实验表明，与其他数据增强方法相比，CORE 反事实在改善对 OOD 数据的泛化上更为有效。我们还展示了 CORE 检索框架可用于促进人工撰写扰动的多样性。
引用
@article{arxiv.2210.04873,
title = {CORE: A Retrieve-then-Edit Framework for Counterfactual Data Generation},
author = {Tanay Dixit and Bhargavi Paranjape and Hannaneh Hajishirzi and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2210.04873},
year = {2022}
}
备注
Findings EMNLP 2022