迭代式反事实数据增强

反事实数据增强(CDA)是一种通过生成具有相反偏差的互补数据集来控制训练数据集中信息或偏差的方法。先前的研究通常依赖手工设计的规则或算法式CDA方法，这些方法可能在增强数据集中留下不需要的信息。在本工作中，我们展示了迭代式CDA(ICDA)，初始的高噪声干预可以收敛到噪声显著更低的状态。我们的ICDA过程生成一个数据集，其中训练数据集中的目标信号与对应标签保持高互信息，而虚假信号的信息被减少。我们证明在增强数据集上训练可以产生与人工标注更好对齐的文档推理。我们的实验包括六个人工生成数据集和两个大语言模型生成数据集。