探索孟加拉宗教方言在大型语言模型中的偏见：评估视角
人机交互
2024-07-29 v1 计算与语言
计算机与社会
多媒体
社会与信息网络
摘要
尽管大型语言模型（LLM）在过去十年中创造了巨大的技术影响，使其能够实现人机交互，但它们可以产生包含刻板印象和偏见的输出，尤其是在使用低资源语言时。这在处理涉及宗教等敏感话题时尤为引人担忧。为了使 LLM 更公平，我们从宗教角度探索孟加拉语中的偏见，具体聚焦于两种主要宗教方言：印度教和穆斯林占多数的方言。我们进行了不同实验并进行审计，展示了针对印度教和穆斯林方言中特定单词的不同句子的比较分析，分别使用三种常用 LLM：ChatGPT、Gemini 和 Microsoft Copilot，展示哪些单词捕获了社会偏见，哪些没有。我们进一步分析了我们的发现，并将其与潜在原因和评估视角相关联，考虑其全球影响——孟加拉语拥有超过 3 亿使用者。通过本工作，我们希望为在 LLM 中建立更严谨的公平性，作为广泛使用的创意写作代理人。
引用
@article{arxiv.2407.18376,
title = {Exploring Bengali Religious Dialect Biases in Large Language Models with Evaluation Perspectives},
author = {Azmine Toushik Wasi and Raima Islam and Mst Rafia Islam and Taki Hasan Rafi and Dong-Kyu Chae},
journal= {arXiv preprint arXiv:2407.18376},
year = {2024}
}
备注
10 Pages, 4 Figures. Accepted to the 1st Human-centered Evaluation and Auditing of Language Models Workshop at CHI 2024 (Workshop website: https://heal-workshop.github.io/#:~:text=Exploring%20Bengali%20Religious%20Dialect%20Biases%20in%20Large%20Language%20Models%20with%20Evaluation%20Perspectives)