CoMPosT：刻画与评估 LLM 模拟中的漫画化表征
计算与语言
2023-10-19 v1 人工智能
计算机与社会
摘要
近期研究旨在利用 LLM 在社会科学实验和民意调查等场景中模拟特定人口群体的回应，以捕捉人类行为的细微差别。然而，目前尚无既定方法来讨论或评估此类 LLM 模拟的质量。此外，人们日益担忧这些 LLM 模拟是其旨在模拟角色的扁平化漫画式刻画，未能捕捉人的多维性并固化刻板印象。为弥补这些缺口，我们提出 CoMPosT，一个利用情境(Context)、模型(Model)、角色(Persona)和主题(Topic)四个维度刻画 LLM 模拟的框架。我们使用该框架衡量开放式 LLM 模拟易受漫画化影响的程度，其通过两个标准定义：个体化和夸张化。我们评估了现有 LLM 模拟工作中场景的漫画化水平。我们发现，对于 GPT-4，某些人口群体（政治和边缘化群体）和主题（一般性、无争议）的模拟极易受漫画化影响。
引用
@article{arxiv.2310.11501,
title = {CoMPosT: Characterizing and Evaluating Caricature in LLM Simulations},
author = {Myra Cheng and Tiziano Piccardi and Diyi Yang},
journal= {arXiv preprint arXiv:2310.11501},
year = {2023}
}
备注
To appear at EMNLP 2023 (Main)