SessionIntentBench：面向电子商务客户行为理解的多任务跨 session 意图转移建模基准

会话历史是记录用户在浏览活动中与多个产品的交互行为的常见方式。例如，如果用户点击了一个产品网页然后离开，可能是因为该产品的某些功能不满足用户，这作为即时用户偏好的重要指示器。然而，所有先前的工作都未能有效捕捉和建模客户意图，因为信息利用不足且仅使用了描述和标题等显性信息。此外，缺乏用于显式建模意图的电子商务产品购买会话的数据和相应的基准。为解决这些问题，我们提出了意图树的概念，并提出了数据 curated 流水线。我们构建了一个包含四个子任务的兄弟多模态基准，SessionIntentBench，用于评估 L(V)LM 对跨 session 意图转移的理解能力。我们拥有 1,952,177 条意图条目、1,132,145 条会话意图轨迹以及 13,003,664 条可用任务，这些任务是通过 10,905 个会话挖掘而来。我们提供了一种利用现有会话数据进行客户意图理解的可扩展方法。我们进行人工标注，以收集部分收集数据的 ground-truth 标签，以形成评估金标准集合。对标注数据的大量实验进一步确认，当前的 L(V)LM 在复杂会话设置下未能捕捉和利用意图。进一步分析表明，注入意图能提高 LLM 的性能。