IBADR：一种用于自然语言理解模型去偏的迭代偏置感知数据集精炼框架
计算与语言
2023-11-02 v1
摘要
作为去偏自然语言理解（NLU）模型的常用方法，数据集精炼方法严重依赖人工数据分析，因此可能无法覆盖所有潜在偏置特征。本文提出IBADR，一种迭代偏置感知数据集精炼（Iterative Bias-Aware Dataset Refinement）框架，其在无需预定义偏置特征的情况下对NLU模型去偏。我们维护一个迭代扩展的样本池。具体而言，在每次迭代中，我们首先训练一个浅层模型以量化池中样本的偏置程度；然后将每个样本与其代表偏置程度的偏置指示器配对，并使用这些扩展样本训练样本生成器。由此，该生成器可有效学习偏置指示器与样本间的对应关系。此外，我们通过输入特定偏置指示器，利用生成器产生具有更少偏置特征的伪样本，最后将生成的伪样本加入样本池。在两个NLU任务上的实验结果和深入分析表明，IBADR不仅显著优于现有数据集精炼方法，达到SOTA，而且与以模型为中心的方法兼容。
引用
@article{arxiv.2311.00292,
title = {IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models},
author = {Xiaoyue Wang and Xin Liu and Lijie Wang and Yaoxiang Wang and Jinsong Su and Hua Wu},
journal= {arXiv preprint arXiv:2311.00292},
year = {2023}
}
备注
EMNLP2023 main conference