数据中的种族偏见与机器学习算法对用户说服力及歧视性决策制定的因果效应：一项实证研究
计算与语言
2022-11-28 v3 计算机与社会
摘要
语言数据与模型表现出多种类型的偏见，无论是种族、宗教、性别还是社会经济方面的。当 AI/NLP 模型在带有种族偏见的 dataset 上训练时，会引发模型可解释性差，影响决策过程中的用户体验，从而进一步放大社会偏见，给社会带来深远的伦理影响。本研究的动机在于探究 AI 系统如何从数据中吸收偏见并产生不可解释的歧视性结果，以及由于数据集中存在种族偏见特征而影响个体对系统结果表达的清晰程度。实验设计包括研究语言数据集中种族偏见特征的反事实影响及其对模型结果的关联效应。采用混合研究方法，通过受控实验室实验考察有偏模型结果对用户体验的交叉影响以及对决策制定的作用。研究结果为关联 NLP 任务中人工智能模型因数据集中呈现的偏见概念而产生连带影响提供了基础性支撑。此外，研究结果证实了当用户试图依赖模型结果行动时，对用户说服力的负面作用会改变个体决策商数。本文弥合了因不公平系统设计导致客户信任度受损这一危害方面的空白，并为研究人员、政策制定者与数据科学家在组织内构建负责任的 AI 框架提供了有力支持。
引用
@article{arxiv.2202.00471,
title = {Causal effect of racial bias in data and machine learning algorithms on user persuasiveness & discriminatory decision making: An Empirical Study},
author = {Kinshuk Sengupta and Praveen Ranjan Srivastava},
journal= {arXiv preprint arXiv:2202.00471},
year = {2022}
}
备注
Fresh experiments need to be added to the design of experiments