通过主动生成成对反事实提升分类器鲁棒性
计算与语言
2023-05-24 v1 机器学习
摘要
反事实数据增强（CDA）是一种常用的提升自然语言分类器鲁棒性的技术。然而，一个根本挑战是如何发现有意义的反事实并高效标注，同时将人工标注成本降至最低。大多数现有方法要么完全依赖人工标注标签（这一昂贵过程限制了反事实数据的规模），要么隐式假设标签不变性（可能以错误标签误导模型）。在本文中，我们提出一种新颖框架，利用反事实生成模型通过从不确定性区域主动采样生成大量多样化反事实，随后用学到的成对分类器自动标注它们。我们的核心洞见是：通过训练一个插值原始样本与反事实之间关系的成对分类器，我们可以更正确地标注生成的反事实。我们证明，仅需少量人工标注的反事实数据（10%），我们就能生成带有学到标签的反事实增强数据集，该数据集在 6 个域外数据集上提供 18-20% 的鲁棒性提升与 14-21% 的错误率降低，在情感分类与问题复述任务上可与完全人工标注的反事实数据集相媲美。
引用
@article{arxiv.2305.13535,
title = {Improving Classifier Robustness through Active Generation of Pairwise Counterfactuals},
author = {Ananth Balashankar and Xuezhi Wang and Yao Qin and Ben Packer and Nithum Thain and Jilin Chen and Ed H. Chi and Alex Beutel},
journal= {arXiv preprint arXiv:2305.13535},
year = {2023}
}