VeriTrip: 面向非结构化网页语料库的可验证旅行规划代理基准
人工智能
2026-05-28 v1
摘要
现有基准已通过建立 API 导向范式为旅行规划代理奠定了基础。然而,随着自主代理能力的不断提升,其评估必须演进于简单工具执行,以处理开放网页所固有的复杂性。当前基准绕过了核心认知障碍:它们未能考虑信息噪声,忽略了多来源事实矛盾,并忽视了将视觉感知 grounding 到逻辑规划的必要性。我们引入 VeriTrip,一个旨在满足代理鲁棒性和可靠性日益增长需求的可验证基准。VeriTrip 将评估焦点转向对非结构化多模态网页语料库中的证据导向推理。它构建了一个来自真实世界来源的多模态检索库 (Multimodal Retrieval Base, MRB),迫使代理自主协调跨异构数据的查询。同步的可验证知识库 (Verifiable Knowledge Base, VKB) 启用了逐单元验证协议,精确量化事实可靠性,区分系统推理失败与参数幻觉。我们在领先 MLLMs 上的评估揭示了关键的“检索-推理权衡”:自主检索的认知负荷显著削弱指令保持。VeriTrip 为下一代能够在无约束、多模态环境中运行的规划代理提供了严格的基础。
引用
@article{arxiv.2605.28683,
title = {VeriTrip: A Verifiable Benchmark for Travel Planning Agents over Unstructured Web Corpora},
author = {Yuting Xu and Jiayi Tian and Jian Liang and Xin Xiong and Hang Zhang and Mu Xu and Xiao-Yu Zhang},
journal= {arXiv preprint arXiv:2605.28683},
year = {2026}
}
备注
10 pages, 4 figures