带态度的用户画像：用于多样化数据标注的 LLM 控制
计算与语言
2024-10-16 v1 人机交互
摘要
我们提出了一种新方法，通过个人化大型语言模型（LLM）来增强数据标注任务中的多样性和控制。我们探讨了在 LLM 提示中注入多样化用户画像描述的影响，通过两个研究案例来研究用户画像是否增加标注多样性，以及单个用户画像对 resulting 标注结果的影响是否一致且可控。我们的结果表明，用户画像提示下的 LLM 产生的标注比没有用户画像提示的 LLM 更具多样性，并且这些效果既是可控的也是可重复的，这使我们的做法成为提高主观 NLP 任务（如毒性检测）数据标注质量的合适工具。
引用
@article{arxiv.2410.11745,
title = {Personas with Attitudes: Controlling LLMs for Diverse Data Annotation},
author = {Leon Fröhling and Gianluca Demartini and Dennis Assenmacher},
journal= {arXiv preprint arXiv:2410.11745},
year = {2024}
}
备注
21 pages, 13 figures