基于LLM的推荐中语言偏见的研究
计算与语言
2026-04-29 v1 人工智能
摘要
我们研究了在南方美国英语（AE）、印度英语（IE）和印英语码转换方言的提示下，基于LLM的餐厅和产品推荐中的语言偏见，使用了Yelp开放数据集（Yelp Inc., 2023）和Walmart产品评论数据集（PromptCloud, 2020）。我们在提供给LLM的提示中添加了按菜系类型和产品类别平衡的餐厅和产品名称列表，并在冷启动设置下对LLM进行零样本提示，以针对每个方言变化的提示从这些列表中选择前20名餐厅和产品推荐。我们使用不同的列表样本在20个随机种子下提示LLM以获得更好的泛化能力，并针对每个种子、问题/提示和LLM模型汇总每个菜系类型和每个类别的响应计数。我们对每个模型家族和主题（餐厅/产品）运行混合效应回归模型，以汇总响应计数为因变量，并对固定效应进行似然比检验，对估计的边际均值差异进行事后成对检验，以研究按模型规模和方言类型的推荐计数在群体层面的差异。结果表明，方言在所测试模型的餐厅选择类型中发挥了作用，其中mistral-small-3.1模型和测试的两个llama-3.1家族模型均对印度英语和语码转换提示表现出更高的敏感性。在产品推荐方面，llama-3.1-70B模型在七个类别中的四个类别里对语码转换提示特别敏感，并且当分别对较大和较小模型使用印度英语和语码转换提示时，看到了更多美容和家居类别的推荐。基于模型规模的差异未表现出广泛趋势，推荐结果因模型规模而异，且受方言类型条件制约。
引用
@article{arxiv.2604.25456,
title = {An Investigation of Linguistic Biases in LLM-Based Recommendations},
author = {Nitin Venkateswaran and Jason Ang and Deep Adhikari and Tarun Krishna Dasari},
journal= {arXiv preprint arXiv:2604.25456},
year = {2026}
}