大型语言模型能否辅助选择建模？关于提示策略与当前模型能力的洞见

大型语言模型 (LLM) 正在跨越多个领域广泛用于支持各种工作流程，但其在离散选择建模中的潜力仍相对未被充分探索。本文考察了LLM作为辅助代理在多项比 logit 模型中的潜力。我们实现了一个系统性的实验框架，涉及12个版本的7个领先LLM (ChatGPT、Claude、DeepSeek、Gemini、Gemma、Llama和Mistral)，在5个实验配置下进行评估。这些配置沿三个维度变化：(i) 建模目标（建议 vs. 建议并估计MNL模型）；(ii) 提示策略（Zero-Shot vs. 链式思维 (CoT)）；和(iii) 信息可得性（完整数据集 vs. 数据字典概述变量名称和类型）。每个LLM提出的规格都被实现、估计，并基于拟合度指标、行为合理性和模型复杂度进行评估。我们的发现表明，专有LLM可以生成有效且在行为上合理的效用规格，特别是在结构化提示 (CoT) 指导下。开源权重模型如Llama和Gemma在生成有意义的规格方面困难重重。值得注意的是，一些LLM在仅提供数据字典的情况下表现更好，这表明限制原始数据访问可能增强了内部推理能力。在所有LLM中，GPT o3在agentic setting下独特地能够通过执行自生成代码来正确估计其自身的规格。总体而言，结果既展示了LLM作为离散选择建模辅助代理的前景，也揭示了其当前的局限性，不仅用于模型规格，还用于支持建模决策和估计，并为将这些工具集成到选择建模师的工作流程中提供了实用指导。