支持基于公共交通数据进行决策的智能体聊天机器人设计与测试
人工智能
2025-05-30 v1
摘要
评估公共交通服务的质量需要分析大量关于计划与实际出行的数据，以及列出每项服务需满足的质量约束的文档。对于大多数用户而言，使用 SQL 查询检索此类数据集，以及组织和可视化数据可能相当复杂。本文提出了一种聊天机器人，提供了一个用户友好的工具来与这些数据集交互并支持决策。它基于智能体架构，通过允许核心大型语言模型（LLM）与一系列可执行多项任务（如执行 SQL 查询、绘制数据并根据出行及其站点的坐标创建地图）的工具进行交互，从而扩展了核心 LLM 的能力。本文还解决了此类生成式 AI 项目的主要开放问题之一：收集数据以衡量系统性能。我们的聊天机器人经过了一个工作流的广泛测试，该工作流会提出若干问题，并针对每个问题存储生成的查询、检索到的数据以及自然语言响应。这些问题源自一组基础示例，随后用数据库中的实际数据加以补充。该过程生成了一个用于评估聊天机器人性能的数据集，尤其是其答案的一致性和生成查询的正确性。
引用
@article{arxiv.2505.22698,
title = {Design and testing of an agent chatbot supporting decision making with public transport data},
author = {Luca Fantin and Marco Antonelli and Margherita Cesetti and Daniele Irto and Bruno Zamengo and Francesco Silvestri},
journal= {arXiv preprint arXiv:2505.22698},
year = {2025}
}