Flex-TravelPlanner：面向灵活规划的语言代理基准
计算与语言
2025-06-06 v1
摘要
现实世界的规划问题需要不断适应变化的要求并平衡竞争约束。然而，当前用于评估大语言模型规划能力的基准主要聚焦于静态、单轮情景。我们提出 Flex-TravelPlanner，一个评估语言模型在动态规划情景中灵活推理能力的基准。基于 TravelPlanner 数据集，我们引入两种新颖的评估设定：1）跨多个轮次的顺序约束引入，2）具有明确优先级竞争约束的情景。对 GPT-4o 和 Llama 3.1 70B 的分析揭示了若干关键发现：单轮任务上的模型表现较差地预测其在多个轮次中适应计划的能力；约束引入顺序对性能影响显著；模型在约束优先级处理方面困难，常错误地优先考虑新引入的低优先级偏好而忽略已存在的高优先级约束。这些发现凸显了在更贴近现实的动态规划情景中评估大语言模型的重要性，并为改进模型在复杂规划任务上的性能指明了具体方向。我们框架的代码和数据集已公开于 https://github.com/juhyunohh/FlexTravelBench。
引用
@article{arxiv.2506.04649,
title = {Flex-TravelPlanner: A Benchmark for Flexible Planning with Language Agents},
author = {Juhyun Oh and Eunsu Kim and Alice Oh},
journal= {arXiv preprint arXiv:2506.04649},
year = {2025}
}