DoYouTrustAI：教育学生了解 AI 误information 与提示工程的工具

人工智能，特别是大型语言模型（LLM）如 ChatGPT，在过去五年中迅速发展并获得广泛采用，正在取代传统搜索引擎。然而，生成式 LLM 的特性引发了将误information 作为事实呈现的担忧。为此，我们开发了一个基于网页的应用程序，帮助 K-12 学生通过识别 LLM 关于主要历史人物响应中的误information 来提升批判性思维。本文描述了 DoYouTrustAI 工具的实现和设计细节，可用于提供交互式课程，教育学生了解误information 的危险以及生成式 AI 如何使其看起来似乎真实。DoYouTrustAI 工具利用提示工程向用户呈现关于历史人物生活的 AI 生成摘要。这些摘要要么是该人物生活的准确叙述，要么是其历史被故意误植的版本。用户需要在无外部资源的情况下确定陈述的有效性。本工作的研究问题为：（RQ1）我们如何设计一种教育学生了解误information 危险及其在 LLM 响应中呈现方式的工具？（RQ2）我们能否将提示工程呈现为学生易于理解的主题？我们的发现突显了纠正误information 至关重要——用户会记住其中的信息。我们的工具允许用户选择熟悉的个体进行测试，以减少随机猜测，并将误information 与已知事实并列以维持可信度。它还提供预配置的提示指令，以显示不同提示如何影响 AI 响应。这些功能共同创建一个受控环境，让用户学习验证 AI 响应的重要性并理解提示工程。