WhatsApp智能导师系统中的安全生成对话

大型语言模型（LLM）具有灵活、可定制且可获得的特性，这使得其在智能导师系统（ITSs）中的应用富有吸引力。然而，这种灵活性会带来风险：包括不准确的信息、有害内容以及非课程相关材料。 ethically部署LLM支持的ITS系统需要设计保障措施，以确保学生获得积极的体验。我们描述了集成到ITS中的对话系统设计，以及我们评估其安全性的经验，包括红队测试、课堂可用性测试和现场部署。我们呈现了超过8000次学生与该系统对话的实证数据，发现GPT-3.5极少生成不当消息。相比之下，来自学生的不当消息更为常见，这促使我们将保障设计视为内容审核和课堂管理问题。我们观察到的学生互动行为为设计者提供了启发——应将学生输入作为内容审核问题——也为研究者提供了启发——应关注不良内容的微妙形式。