基于反应语气建模社区态度：面向在线社区中LLM与语言行为对齐的人类- AI协作框架
计算与语言
2026-05-28 v1 人工智能
社会与信息网络
摘要
大语言模型（LLMs）越来越多地被用作计算社会分析的代理，但其能否忠实地代表人类社区的“厚描述”（Geertz, 1973）仍是关键挑战。当前的评估往往将社会身份简化为静态标签，忽略了真实世界群体如何应对社会变迁的实际应对方式。为弥合这一差距，我们引入CARE（Community-Aware Reaction Evaluation），一个以反应为中心的框架，对比LLM模拟的讨论与不同社区对真实新闻事件作出的真实、事件相关的响应。通过刻画恶作剧语气的细粒度谱系及其所折射出的底层态度——通过人类- AI协作进行验证——我们的诊断揭示了持续存在的“现实主义鸿沟”：使用明确的社区提示词引导LLMs无法本质性地提高模拟保真度。分析进一步识别出各主流模型之间存在不同的行为特征，表明当前的对齐策略尚不足以捕捉在线群体的社会语言动态。
引用
@article{arxiv.2605.27388,
title = {Modeling Community Attitude through Reaction Tone: A Human-AI Collaborative Framework for Evaluating LLM Alignment with Linguistic Behaviors in Online Communities},
author = {Nuan Wen and Xuezhe Ma},
journal= {arXiv preprint arXiv:2605.27388},
year = {2026}
}
备注
Preprint