发生了什么改变？用因果中介分析考察去偏方法
计算与语言
2022-06-03 v1 人工智能
摘要
先前的工作考察了去偏语言模型如何影响下游任务，具体而言，去偏技术如何影响任务表现，以及去偏模型在下游任务中是否也做出公正的预测。然而，我们尚不清楚的是，为何去偏方法对下游任务有不同影响，以及去偏技术如何影响语言模型的内部组件，即神经元、层和注意力。在本文中，我们通过对性别应用因果中介分析来分解去偏语言模型的内部机制，以理解去偏方法对作为下游任务的毒性检测的影响。我们的发现表明，需要用不同的偏见度量来测试去偏方法的有效性，并关注模型某些组件行为的改变，例如语言模型的前两层，以及注意力头。
引用
@article{arxiv.2206.00701,
title = {What Changed? Investigating Debiasing Methods using Causal Mediation Analysis},
author = {Sullam Jeoung and Jana Diesner},
journal= {arXiv preprint arXiv:2206.00701},
year = {2022}
}