PairCFR: 通过对比学习提高针对配对反事实增强数据的模型训练效果
机器学习
2024-06-12 v1
摘要
反事实增强数据（CAD）涉及通过对现有数据样本应用最小且足够的修改来翻转其标签到其他类别，从而创建新的数据样本。使用 CAD 训练可通过在不同类别之间扩散因果关系来增强模型对偶特征的鲁棒性。然而，最近的研究表明，使用 CAD 训练可能导致模型过度关注被修改的特征而忽略其他重要的上下文信息，进而引入可能损害在分布外（OOD）数据集上性能的偏差。为缓解这一问题，我们采用对比学习来促进除已修改特征之外的全局特征对齐。我们在理论上证明，对比损失可以鼓励模型利用除已修改特征之外的更广泛特征范围。针对两个人工编辑的 CAD 数据集进行的全面实验表明，我们提出的方法在 OOD 数据集上优于最新方法。
引用
@article{arxiv.2406.06633,
title = {PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning},
author = {Xiaoqi Qiu and Yongjie Wang and Xu Guo and Zhiwei Zeng and Yue Yu and Yuhong Feng and Chunyan Miao},
journal= {arXiv preprint arXiv:2406.06633},
year = {2024}
}
备注
Accepted by ACL 2024 main conference