你的 LLM 多智能体规划系统可靠吗？探索旅行规划中的欺诈检测
多智能体系统
2025-06-16 v2
摘要
大型语言模型(LLM)多智能体规划的兴起，利用了高级框架以实现自主和协作式任务执行。一些系统依赖评论网站和社交媒体平台，这些平台容易受到欺诈信息（如虚假评论或误导性描述）的影响。这种依赖可能带来财务损失并损害用户体验。为了评估规划系统在实际应用中的风险，我们引入 \textbf{WandaPlan}，一个模拟真实数据并植入欺骗内容的评估环境。我们 assess 系统在三种欺诈情形下的性能：误导性欺诈、团队协作式多人欺诈以及层级升级式多轮欺诈。我们揭示了现有框架在数据真实性方面存在显著弱点，这些框架优先考虑任务效率而非数据真实性。同时，我们验证了 WandaPlan 的通用性，能够评估真实世界开源规划框架的风险。为缓解欺诈风险，我们提出集成反欺诈智能体的方案，以实现可靠的规划。
引用
@article{arxiv.2505.16557,
title = {Is Your LLM-Based Multi-Agent a Reliable Real-World Planner? Exploring Fraud Detection in Travel Planning},
author = {Junchi Yao and Jianhua Xu and Tianyu Xin and Ziyi Wang and Shenzhe Zhu and Shu Yang and Di Wang},
journal= {arXiv preprint arXiv:2505.16557},
year = {2025}
}
备注
Accepted by ICML 2025 Workshop MAS