人们对大语言模型中偏见及相关概念的认知:一项系统性综述
人机交互
2024-03-05 v2
摘要
大语言模型(LLMs)在翻译、摘要、信息检索和语言生成等任务中带来了突破,在 CHI 社区中获得了日益增长的关注。同时,文献显示研究者对 LLMs 的功效、伦理和智能存在争议性认知。然而,我们并不了解人们如何感知普遍存在于日常工具中的 LLMs,特别是关于他们围绕偏见、刻板印象、社会规范或安全使用 LLMs 的体验。在本研究中,我们进行了一项系统性综述,以理解论文已收集的关于人们对 LLMs 认知的经验性洞见。从检索到的共 231 篇论文中,我们全文审阅了 15 篇招募人类评估者评估其 LLMs 使用体验的论文。我们报告了这些研究考察的不同偏见及相关概念、四个更广泛的 LLM 应用领域、评估者对 LLMs 性能(包括优势、偏见和冲突性认知)的认知、影响这些认知的因素,以及对 LLM 应用的担忧。
引用
@article{arxiv.2309.14504,
title = {People's Perceptions Toward Bias and Related Concepts in Large Language Models: A Systematic Review},
author = {Lu Wang and Max Song and Rezvaneh Rezapour and Bum Chul Kwon and Jina Huh-Yoo},
journal= {arXiv preprint arXiv:2309.14504},
year = {2024}
}