AutoCAD：自动生成反事实数据以缓解捷径学习
人工智能
2022-11-30 v1 计算与语言
摘要
近期研究表明，反事实增强数据（CAD）在减少 NLU 模型对伪特征的依赖并提升其泛化能力方面效果显著。然而，当前方法仍严重依赖人工或任务特定设计来生成反事实数据，从而阻碍了 CAD 在广泛 NLU 任务中的适用性。本文提出 AutoCAD，一个全自动且任务无关的 CAD 生成框架。AutoCAD 首先利用分类器以无监督方式识别作为干预区间的合理性依据，从而解耦伪特征与因果特征。随后，AutoCAD 执行由非似然训练增强的可控生成，以产生多样化的反事实数据。在多个域外及挑战基准上的大量评估表明，AutoCAD 持续且显著地提升了强大预训练模型在不同 NLU 任务上的分布外性能，其效果可与先前最先进的人机协同或任务特定的 CAD 方法相媲美甚至更优。代码已公开于 https://github.com/thu-coai/AutoCAD。
引用
@article{arxiv.2211.16202,
title = {AutoCAD: Automatically Generating Counterfactuals for Mitigating Shortcut Learning},
author = {Jiaxin Wen and Yeshuang Zhu and Jinchao Zhang and Jie Zhou and Minlie Huang},
journal= {arXiv preprint arXiv:2211.16202},
year = {2022}
}
备注
Accepted by EMNLP 2022 findings