中文

$\texttt{BluePrint}$:用于 LLM 人格评估与训练的社交媒体用户数据集

计算与语言 2025-10-06 v1 人工智能

摘要

大型语言模型(LLM)在模拟规模社交媒体动态方面展现出巨大潜力,使能够以伦理或操作上难以实现的人类主体进行的研究成为可能。然而,该领域缺乏面向 LLM 作为真实社交媒体代理进行微调和评估的标准化数据资源。我们通过引入 SIMPACT(SIMulation-oriented Persona and Action Capture Toolkit),一个尊重隐私的框架,用于构建适合训练代理模型的行为驱动社交媒体数据集,来弥补这一空白。我们将下一动作预测建模为训练和评估 LLM 代理的任务,并在聚类层面和总体层面引入指标,以衡量行为忠实度和风格真实性。作为具体实现,我们发布了 BluePrint,一个由公开 Bluesky 数据构建的大规模数据集,聚焦于政治讨论。BluePrint 将匿名化用户聚类为行为聚合的人格,捕捉真实的参与模式,同时通过伪装和去除可识别个人信息来保护隐私。数据集包含 12 种社交媒体交互类型(点赞、回复、转发等)的大量动作集合,每项动作都与其前置的发布活动相关联。这支持开发能够在语言和社交媒体交互行为上都具备情境依赖性的代理模型。通过标准化数据和评估协议,SIMPACT 为推动严谨、伦理负责的社交媒体仿真提供了基础。BluePrint 既是政治讨论建模的评估基准,也是构建特定领域数据集以研究如虚假信息和极化等挑战的模板。

关键词

引用

@article{arxiv.2510.02343,
  title  = {$\texttt{BluePrint}$: A Social Media User Dataset for LLM Persona Evaluation and Training},
  author = {Aurélien Bück-Kaeffer and Je Qin Chooi and Dan Zhao and Maximilian Puelma Touzel and Kellin Pelrine and Jean-François Godbout and Reihaneh Rabbany and Zachary Yang},
  journal= {arXiv preprint arXiv:2510.02343},
  year   = {2025}
}

备注

8 pages, 4 figures, 11 tables