谁会收到哪条信息？审计大型语言模型生成的定向文本中的人口统计偏差
计算与语言
2026-04-21 v3 人工智能
计算机与社会
机器学习
摘要
大型语言模型（LLMs）日益擅长在规模上生成个性化、有说服力的定向文本，引发了关于自动化通信中偏差和公平性的新问题。本文提出了首个系统性分析框架，探讨LLMs在执行人口统计条件化定向消息任务时的行为表现。我们采用受控评估框架，对三款主流模型（GPT-4o、Llama-3.3 和 Mistral-Large-2.1）进行测试，涵盖两种生成设置：独立生成（Standalone Generation），以隔离内在的人口统计效应；情境丰富生成（Context-Rich Generation），融合主题与地域情境以模拟真实的定向场景。我们沿三个维度评估生成的文本：词汇内容、语言风格及说服性表述。本研究以气候沟通为例，发现各模型间存在一致的年龄和性别差异：针对男性和年轻人的定向消息倾向于强调更具攻击性和进步性的表述，而针对女性和年长者的消息更常反映温暖、关怀及传统主题。情境提示系统性放大了这些差异，男性定向消息的说服得分更高，而年龄相关差异在不同模型间呈现出不同变化。我们的发现表明，人口统计刻板印象在LLM生成的定向沟通中得以显现并加剧，凸显了在涉及社会敏感应用的定向生成管道中嵌入偏差意识功能及透明审计框架的必要性，这些框架需显式考虑人口统计条件化因素。
引用
@article{arxiv.2601.17172,
title = {Who Gets Which Message? Auditing Demographic Bias in LLM-Generated Targeted Text},
author = {Tunazzina Islam},
journal= {arXiv preprint arXiv:2601.17172},
year = {2026}
}
备注
Accepted at Findings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026). Camera-ready