情境化语言表征的内在与外在公平性评估指标研究
计算与语言
2022-03-29 v1
摘要
为衡量各类自然语言处理任务中的公平性，已提出多种指标。这些指标可大致分为两类：1) 用于评估下游应用中公平性的外在指标；2) 用于估计上游情境化语言表征模型中公平性的内在指标。本文中，我们使用 19 个情境化语言模型，针对多种偏见概念，对内在与外在指标间的相关性进行了广泛研究。我们发现，即使在修正指标错位、评估数据中的噪声以及外在指标实验配置等混杂因素后，内在与外在指标在其原始设定下未必相关。
引用
@article{arxiv.2203.13928,
title = {On the Intrinsic and Extrinsic Fairness Evaluation Metrics for Contextualized Language Representations},
author = {Yang Trista Cao and Yada Pruksachatkun and Kai-Wei Chang and Rahul Gupta and Varun Kumar and Jwala Dhamala and Aram Galstyan},
journal= {arXiv preprint arXiv:2203.13928},
year = {2022}
}