TripTide：针对突发状况下的自适应旅行规划基准

近期如TripCraft和TravelPlanner等研究推动了大型语言模型(LLM)用于个性化、具约束感知的旅行行程生成。然而，实际旅行常常会遇到突发状况。为此，我们提出TripTide，首个评估LLM在现实突发状况下修订行程能力的基准。TripTide建模了诸如突发状况严重程度和旅行者容忍度等关键维度，使我们能够对LLM对事件（如航班取消、恶劣天气关闭或景点超客）的响应进行细致评估。我们进行了三重评估。首先，我们引入自动化指标，包括意图保持(修订后的计划多好地维持可行性和目标)、响应性(突发状况处理的及时性和恰当性)以及适应性(原始计划与修订计划之间的语义、空间和顺序偏差)。其次，我们应用LLM作为评判家的方法，自动评估修订质量。最后，我们进行手动专家评估，以验证修订是否保留了语义、空间、顺序和响应方面的特征。我们的实验显示，LLM在保持强大的顺序一致性和语义稳定性方面表现良好，而空间偏差在较短的行程中较大，但随行程长度增加而减小，表明较长的计划更能鼓励更好的地理一致性。然而，随计划长度增加，突发状况处理能力下降，凸显了LLM鲁棒性的局限。TripTide为评估LLM在现实世界不确定性下的适应性、个性化和韧性提供了基准。