SafeChat：一个用于构建可信协作助手的框架及其有用性案例研究
计算与语言
2025-04-16 v2
摘要
协作助手，即聊天机器人，是支持自然交互以完成任务的基于数据的决策支持系统。虽然它们可以满足现代社会中的关键需求，但对其可靠性和可信度的担忧依然存在。特别是，基于大型语言模型（LLM）的聊天机器人（如 ChatGPT、Gemini 和 DeepSeek）正变得越来越普及。然而，此类聊天机器人存在局限性，包括无法解释响应的生成过程、生成有害内容的风险、缺乏标准化的可靠性测试，以及对深度 AI 专业知识和较长开发时间的需求。这些问题使得聊天机器人不适用于选举或医疗保健等对信任敏感的应用。为了解决这些问题，我们引入了 SafeChat，这是一种用于构建安全可信聊天机器人的通用架构，重点关注信息检索用例。SafeChat 的主要特点包括： 可用性，对长响应进行自动抽取式摘要，并可追溯至其来源，以及自动信任评估以传达预期的聊天机器人行为（如情感）；以及 快速、可扩展的开发，包括 CSV 驱动的工作流程、自动化测试以及与各种设备的集成。我们使用开源聊天机器人平台 Rasa 在一个可执行框架中实现了 SafeChat。案例研究展示了其在构建 ElectionBot-SC（一个旨在安全传播官方选举信息的聊天机器人）中的应用。SafeChat 正在许多领域中使用，验证了其潜力，并可在以下地址获取：https://github.com/ai4society/trustworthy-chatbot。
引用
@article{arxiv.2504.07995,
title = {SafeChat: A Framework for Building Trustworthy Collaborative Assistants and a Case Study of its Usefulness},
author = {Biplav Srivastava and Kausik Lakkaraju and Nitin Gupta and Vansh Nagpal and Bharath C. Muppasani and Sara E. Jones},
journal= {arXiv preprint arXiv:2504.07995},
year = {2025}
}