ChatGPT关于人类价值观返回了什么?运用描述性价值理论探究ChatGPT中的价值偏差
计算与语言
2023-04-10 v1 计算机与社会
人机交互
摘要
人们对于大语言模型(LLMs)生成文本中的意识形态基础及可能的歧视已有担忧。我们使用一种心理学价值理论检验ChatGPT中可能的价值偏差。我们设计了一个简单实验,使用源自Schwartz基本价值理论(修订版Portrait Value Questionnaire中的条目、价值类型定义、价值名称)的若干不同探针。我们通过OpenAI API反复提示ChatGPT生成文本,随后采用理论驱动的价值词典以词袋方法分析所生成语料中的价值内容。总体而言,我们发现显式价值偏差的证据很少。结果显示生成文本具有与心理学模型理论预测相符的充分建构效度与区分效度,表明价值内容以高保真度带入了输出中。我们观察到社会导向价值的一些合并,这可能表明这些价值在语言层面上区分度较低,或者这种混合反映了潜在普遍的人类动机。我们概述了我们的发现对ChatGPT企业应用与政策制定以及未来研究路径的一些可能应用。我们还强调了使用语言模型对动机内容进行这种相对较高保真度复现,对于人类价值理论建构的一些可能启示。
引用
@article{arxiv.2304.03612,
title = {What does ChatGPT return about human values? Exploring value bias in ChatGPT using a descriptive value theory},
author = {Ronald Fischer and Markus Luczak-Roesch and Johannes A Karl},
journal= {arXiv preprint arXiv:2304.03612},
year = {2023}
}
备注
26 pages, 4 Figures, 5 Tables