分析传统多语言情感分析模型中法语与英语之间的语言偏见
摘要
受加拿大统计局“双语自然语言处理中的偏见考量”报告的启发，本研究深入探讨了英语和法语之间多语言情感分析中可能存在的偏见。给定一个法语和英语各占50%的数据集，我们旨在确定是否存在语言偏见，并探索未来纳入更多样化的数据集可能如何影响多语言自然语言处理（NLP）系统的公平性。通过在三个平衡数据集上使用支持向量机（SVM）和朴素贝叶斯模型，我们揭示了多语言情感分类中潜在的偏见。利用用于评估机器学习模型偏见的工具Fairlearn，我们的发现表明了微妙的结果。在两个模型中，法语数据在准确率、召回率和F1分数指标上均优于英语，暗示存在偏向法语的语言偏见。然而，Fairlearn的指标表明，SVM在三个独立数据集上的人口统计均等比率分别为0.963、0.989和0.985，接近公平水平，表明跨语言处理近乎公平。相比之下，朴素贝叶斯表现出更大的差异，其人口统计均等比率分别为0.813、0.908和0.961。这些发现揭示了开发公平的多语言NLP系统的重要性，特别是当我们预期未来会纳入更多不同语言的数据集时。
引用
@article{arxiv.2405.06692,
title = {Analyzing Language Bias Between French and English in Conventional Multilingual Sentiment Analysis Models},
author = {Ethan Parker Wong and Faten M'hiri},
journal= {arXiv preprint arXiv:2405.06692},
year = {2026}
}
备注
This is an undergraduate research project. Withdrawing this paper due to errors identified in the cross-validation implementation. These technical flaws invalidate the primary findings and conclusions. The authors no longer stand by the results presented in this version and recommend it not be cited or used as a basis for further research