大型语言模型能否解释动态群体决策过程中的非结构化聊天数据？基于联合目的地选择的证据

社会活动源于群体成员之间复杂的联合活动-出行决策。虽然通过传统的出行调查难以观察这些活动的决策过程，但新型数据（如非结构化聊天数据）的出现有助于揭示这些复杂过程。然而，解释这些决策过程需要推断显性和隐性因素。这通常涉及劳动密集型的人工标注对话任务，以捕捉由社会和文化规范塑造的、依赖于上下文的含义。本研究以日本的联合外出就餐活动数据为案例，评估了大型语言模型（LLM）在解释群体聊天中的决策过程方面自动化和补充人工标注的潜力。我们设计了一个受知识获取过程启发的提示框架，该框架依次提取关键决策因素，包括群体层面的餐厅选择集和结果、每个备选方案的个体偏好，以及驱动这些偏好的具体属性。这一结构化过程引导 LLM 解析群体聊天数据，将非结构化对话转换为描述决策因素的结构化表格数据。为了评估 LLM 驱动的输出，我们使用人工标注的真实数据集进行了定量分析，并进行了定性错误分析以检验模型的局限性。结果表明，虽然 LLM 能可靠地捕捉显式决策因素，但它难以识别人工标注员容易识别出的细微隐式因素。我们指出了可以信任基于 LLM 的提取的特定情境，以及仍需人工监督的情境。这些发现突显了基于 LLM 的分析在整合社会活动非传统数据源方面的潜力和局限性。