反事实增强数据如何影响社会计算构念的模型
计算机与社会
2021-09-16 v1
摘要
随着NLP模型日益部署于在线滥用内容检测等社会情境化场景中，确保这些模型的鲁棒性至关重要。提升模型鲁棒性的一种方式是生成反事实增强数据（CAD）来训练模型，使其更好地学习区分核心特征与数据伪迹。尽管在此类数据上训练的模型已展现出良好的域外可泛化性，但此类提升的来源仍不明确。我们通过聚焦三种社会计算构念——情感、性别歧视与仇恨言论，探究CAD对社会NLP模型的益处。通过对使用与不使用CAD训练的模型在不同类型数据集上的性能进行评估，我们发现尽管CAD训练的模型域内性能较低，但其域外泛化更好。我们利用机器解释拆解这一明显矛盾，发现CAD降低了模型对伪特征的依赖。借助一种新颖的CAD类型学分析其与模型性能的关系，我们发现直接作用于构念的CAD或多样化的CAD集合能带来更高性能。
引用
@article{arxiv.2109.07022,
title = {How Does Counterfactually Augmented Data Impact Models for Social Computing Constructs?},
author = {Indira Sen and Mattia Samory and Fabian Floeck and Claudia Wagner and Isabelle Augenstein},
journal= {arXiv preprint arXiv:2109.07022},
year = {2021}
}
备注
Preprint of a paper accepted to EMNLP 2021