基于表征插值的反事实对抗学习
机器学习
2021-09-13 v1
摘要
深度学习模型表现出偏好统计拟合而非逻辑推理的倾向。当训练数据中存在统计偏差时,模型可能会记忆虚假相关性,这严重限制了模型性能,尤其是在小数据场景下。在本研究中,我们引入了反事实对抗训练框架(CAT),从因果性视角解决该问题。具体而言,对于特定样本,CAT 首先通过对抗方式下的潜在空间插值生成反事实表征,然后对每个原始-反事实对执行反事实风险最小化(CRM)以动态调整样本级损失权重,从而鼓励模型探索真实的因果效应。大量实验表明,在不同的下游任务(包括句子分类、自然语言推断和问答)中,CAT 相较于 SOTA 取得了显著的性能提升。
引用
@article{arxiv.2109.04746,
title = {Counterfactual Adversarial Learning with Representation Interpolation},
author = {Wei Wang and Boxin Wang and Ning Shi and Jinfeng Li and Bingyu Zhu and Xiangyu Liu and Rong Zhang},
journal= {arXiv preprint arXiv:2109.04746},
year = {2021}
}
备注
Accepted to Findings of EMNLP 2021