化学命名实体识别模型中性别偏见的综合研究
计算与语言
2024-03-14 v2
摘要
化学命名实体识别（NER）模型被用于许多下游任务，从药物不良反应识别到药物流行病学。然而，尚不清楚这些模型是否对所有人表现一致。性能差异可能带来危害而非预期的益处。本文评估了化学NER系统中的性别相关性能差异。我们开发了一个利用合成数据和新标注的、来自Reddit的超过92,405个带有自我认同性别信息词语的语料库来度量化学NER模型性别偏见的框架。我们对多个生物医学NER模型的评估揭示了明显的偏见。例如，合成数据表明女性相关姓名常被误分类为化学品，尤其是品牌名提及。此外，我们在两个数据集中均观察到女性相关与男性相关数据之间的性能差异。许多系统无法检测避孕药如birth control。我们的发现强调了化学NER模型中的偏见，敦促从业者在下游应用中考虑这些偏见。
引用
@article{arxiv.2212.12799,
title = {A Comprehensive Study of Gender Bias in Chemical Named Entity Recognition Models},
author = {Xingmeng Zhao and Ali Niazi and Anthony Rios},
journal= {arXiv preprint arXiv:2212.12799},
year = {2024}
}