审计大型语言模型中品牌与文化偏好

大型语言模型(LLM)基于AI系统日益中介化数十亿人的可见选择与购买行为。这构成了迫切需要量化LLM驱动的市场中介系统风险的需求，包括其对市场公平性、竞争以及信息曝光多样性的影响。本文引入ChoiceEval，一个可复现的框架，用于在真实使用情境下审计大型语言模型中对品牌和文化的偏好。ChoiceEval解决两个核心技术挑战：(i)生成符合人格多样性的真实评估查询，以及(ii)将自由文本输出转换为可比较的选择集和量化偏好指标。针对给定主题(如运动鞋、酒店链、旅游目的地)，框架将用户划分为心理画像轮廓(如预算导向、健康导向、便利导向)，随后派生出反映真实广告寻求和决策行为的多样化提示。LLM响应被转换为标准化的top-k选择集。随后使用跨主题和跨人格的可比指标量化偏好与地理偏见。因此，ChoiceEval为研究人员、平台和监管机构提供了一个可扩展的审计管道，将模型行为与真实世界经济结果关联。应用于Gemini、GPT和DeepSeek，覆盖10个涵盖商业与文化的主题，超过2000个问题，ChoiceEval揭示了一致的偏好模式：美国开发的模型Gemini和GPT显示出对美国实体的明显偏好，而中国开发的DeepSeek则呈现更平衡但仍可检测到的地理偏好。这些模式在用户人格轮廓间持续存在，表明是系统性而非偶然的效应。