从模型选择到模型信念：建立一种用于 LLM 基于研究的新度量
人工智能
2025-12-30 v1 计量经济学
摘要
大型语言模型 (LLM) 越来越多地用于模拟人类行为，但使用 LLM 生成数据的常用做法效率不高。将 LLM 的输出 ("模型选择") 作为单个数据点来处理，未充分利用 LLM 内在的概率本质所蕴含的信息。本文引入并形式化了"模型信念"这一度量，这一度量从 LLM 的 token 级别概率中推导而来，捕捉模型在单次生成中对选择备选项信念分布。作者证明了模型信念在渐近意义上等价于模型选择的均值（这是一个非平凡的性质），但形成更统计上高效的估计器，具有更低的方差和更快的收敛速率。针对下游应用中常用的平滑函数的模型信念和模型选择也证明了类似性质。作者通过需求估计研究展示了模型信念的性能，其中 LLM 模拟不同价格下的消费者响应。在实际情况下，由于运行次数有限，模型信念比模型选择本身更好地解释和预测真实的模型选择，并通过约为 20 倍的因子减少达到足够准确估计所需的计算量。这些发现支持将模型信念作为从 LLM 生成数据中提取更多信息的默认度量。
关键词
引用
@article{arxiv.2512.23184,
title = {From Model Choice to Model Belief: Establishing a New Measure for LLM-Based Research},
author = {Hongshen Sun and Juanjuan Zhang},
journal= {arXiv preprint arXiv:2512.23184},
year = {2025}
}