面向 AI 增强推理的关键性思维提升：面向 RAG 模型的定制化警告系统
人机交互
2025-04-24 v1
摘要
检索增强生成（RAG）系统提供了一种强大的方法，通过纳入经事实核查、上下文相关的信息来增强大型语言模型（LLM）的输出。然而，公平性和可靠性仍然是主要 concern，因为在检索和生成阶段都可能出现幻觉，从而影响用户的推理和决策。我们的研究探讨了定制化警告消息——其内容取决于幻觉的具体情境——如何在教育小测验环境中影响用户的推理和行动。初步发现表明，尽管警告会提高准确率和对高层次幻觉的意识，但也可能引入认知摩擦，导致混淆并削弱用户对系统的信任。通过审查这些互动，本工作为 AI 增强推理的更广泛目标——开发主动支持人类反思、批判性思维和知情决策的系统，而非被动信息消费——做出了贡献。
引用
@article{arxiv.2504.16883,
title = {Enhancing Critical Thinking with AI: A Tailored Warning System for RAG Models},
author = {Xuyang Zhu and Sejoon Chang and Andrew Kuik},
journal= {arXiv preprint arXiv:2504.16883},
year = {2025}
}
备注
Presented at the 2025 ACM Workshop on Human-AI Interaction for Augmented Reasoning