不同程度的伪造内容:警示对人类感知和参与度的影响
人机交互
2024-08-13 v3 人工智能
计算与语言
摘要
大型语言模型(LLMs)的广泛采用和变革性影响引发了对其产生不准确和虚构内容(称为“幻觉”)能力的关注。鉴于幻觉可能带来的风险,人们应该能够识别它们。本研究旨在系统地了解人类对LLM幻觉的感知,通过变化幻觉的程度(真实、轻微幻觉、重大幻觉)并检验其与警示(即潜在不准确性警示:不存在 vs. 存在)的相互作用。受试者(N=419)来自Prolific,对内容的感知准确性和参与度(例如点赞、厌恶、分享)进行评估,采用问答格式。受试者按真实、轻微幻觉和重大幻觉的顺序列出内容的真实性,用户参与行为也遵循了这一模式。更重要的是,我们观察到警示可以在不显著影响真实内容感知真实性的同时提高幻觉检测能力。我们通过为未来工具提供见解,以帮助人类检测幻觉。所有调查材料、人口学问题以及会后问题均可用:https://github.com/MahjabinNahar/fakes-of-varying-shades-survey-materials
引用
@article{arxiv.2404.03745,
title = {Fakes of Varying Shades: How Warning Affects Human Perception and Engagement Regarding LLM Hallucinations},
author = {Mahjabin Nahar and Haeseung Seo and Eun-Ju Lee and Aiping Xiong and Dongwon Lee},
journal= {arXiv preprint arXiv:2404.03745},
year = {2024}
}
备注
Accepted at COLM 2024