TripCraft：面向时空细粒度旅行规划的基准数据集
计算与语言
2025-03-03 v1 人工智能
摘要
近期在探索大型语言模型（LLM）潜在潜能作为个性化旅行规划代理方面取得了进展，但现有基准在现实世界适用性方面仍受限。现有数据集如 TravelPlanner 和 TravelPlanner+ 依赖半合成数据、存在空间不一致问题，缺乏关键旅行约束，难以满足实际行程生成的需求。为此，我们引入 TripCraft，一个时空一致的旅行规划数据集，整合了现实世界约束，包括公共交通时刻表、活动 availability、多样化景点类别以及用户画像，以实现更高的个性化。为评估 LLM 生成的行程质量，我们提出五个连续型评估指标：时序餐饮得分、时序景点得分、空间得分、排序得分和人设得分，分别从多个维度衡量行程质量。我们的方法在参数设置上进行了优化，显著提升了餐饮安排效果，在7天情景下将时序餐饮得分提升至80%。TripCraft 为 LLM 驱动的个性化旅行规划建立了新的基准，提供了一个更真实、更注重约束的行程生成框架。数据集和代码将在接受录用后公开。
引用
@article{arxiv.2502.20508,
title = {TripCraft: A Benchmark for Spatio-Temporally Fine Grained Travel Planning},
author = {Soumyabrata Chaudhuri and Pranav Purkar and Ritwik Raghav and Shubhojit Mallick and Manish Gupta and Abhik Jana and Shreya Ghosh},
journal= {arXiv preprint arXiv:2502.20508},
year = {2025}
}
备注
27 pages, 18 Tables and 6 Figures