带可核查引用证据的旅游推荐系统 TRACE
信息检索
2026-05-11 v1 人工智能
计算与语言
摘要
旅游是对话式推荐系统 (CRS) 的高风险场景：一个听起来合理的建议一旦旅行者采纳，可能会浪费真实的金钱和时间。现有的 CRS 基准主要通过实体提及的单一 Recall@k 分数来评估系统，旅游专用资源添加空间或知识图谱上下文，但没有将多轮推荐与字面评论段落证据以及拒绝恢复相耦合。这留下了一个评估缺口，旅游推荐需要同时具备可信、可验证和适应性：为多方面偏好（如 cuisine、price、atmosphere、walking distance）推荐正确的景点 (POI)，用来自 prior 访问者的可验证证据来为每个建议提供依据，让旅行者无需试错即可行动，以及在第一次推荐被拒绝后进行恢复。我们引入 TRACE，其中每个项目都是一个带有评论段落引用和显式拒绝回合的多轮旅游推荐对话：10,000 项对话覆盖 2,400 个 Yelp 景点和 34,208 条评论，遍及八个美国城市，配有 14 个检索、规划和 LLM 基线，以及 25 个指标，组织在准确性、 grounding 和恢复三个维度下。跨越这些基线，TRACE 揭示了三重能力缺口：LLM Zero-Shot 在封闭集合 Recall@1 和拒绝恢复方面领先，但引用密度更低；非 LLM 检索器实现了字面 verbatim grounding，但准确性较低；多评论综合在恢复方面失败。Grounding Score 与人类引用精确度一致（Spearman rho=+0.80, p<10^-20），以及配对 t 检验复现了每个基线的排名（在主要对比上 p<0.01）。TRACE 将可核查的旅游推荐重新定义为一个联合目标（正确 POI、可验证证据、适应性修复），而非单轴排行榜。
引用
@article{arxiv.2605.07677,
title = {TRACE: Tourism Recommendation with Accountable Citation Evidence},
author = {Zixu Zhao and Sijin Wang and Yu Hou and Yuanyuan Xu and Yufan Sheng and Xike Xie and Wenjie Zhang and Won-Yong Shin and Xin Cao},
journal= {arXiv preprint arXiv:2605.07677},
year = {2026}
}