优雅的桥梁：多语言大语言模型在不同语言中的偏见相似性
计算与语言
2024-07-16 v1
摘要
本文通过语法性别的视角来探讨大型语言模型 (LLM) 的偏见。我们借鉴心理语言学中的经典著作，特别是性别对语言感知影响的研究，利用多语言 LLM 来重新审视并扩展 Boroditsky (2003) 的基础实验。通过将 LLM 作为检验语法性别相关心理语言学偏见的新方法，我们要求模型在各种语言中，用形容词描述名词，重点关注具有语法性别的语言。具体而言，我们检查不同性别和语言中形容词的共现情况，并训练一个二元分类器来预测 LLM 用于描述名词的形容词所对应的语法性别。令人惊讶的是，我们发现一个简单的分类器不仅能在概率以上预测名词性别，而且在不同语言之间展现出跨语言可迁移性。我们表明尽管 LLM 可能在不同语言中以不同方式描述单词，但它们的偏见是相似的。
引用
@article{arxiv.2407.09704,
title = {What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages},
author = {Viktor Mihaylov and Aleksandar Shtedritski},
journal= {arXiv preprint arXiv:2407.09704},
year = {2024}
}