LLM 生成响应中的引用与信任
计算与语言
2025-01-03 v1 人工智能
摘要
问答系统正在迅速发展,但其不透明的本质可能影响用户信任。我们通过反监控框架来探索信任,认为信任预计与引用的存在成正相关,与检查引用成反相关。我们使用一次在线问答实验测试了这一假设,该实验呈现了使用商业聊天机器人生成的文本响应,包括 varying citations(零、一个或五个),无论是相关还是随机,并记录了参与者是否检查了引用以及他们对生成响应的自报告信任程度。我们发现,当引用存在时,信任显著增加,即使这些引用是随机的,也是如此;我们也发现,当参与者检查了引用时,信任显著下降。这些结果凸显了引用在增强 AI 生成内容信任方面的重要性。
引用
@article{arxiv.2501.01303,
title = {Citations and Trust in LLM Generated Responses},
author = {Yifan Ding and Matthew Facciani and Amrit Poudel and Ellen Joyce and Salvador Aguinaga and Balaji Veeramani and Sanmitra Bhattacharya and Tim Weninger},
journal= {arXiv preprint arXiv:2501.01303},
year = {2025}
}
备注
Accepted to AAAI 2025