从随机性到信号：面向可靠测量的贝叶斯潜在状态模型

大型语言模型（LLM）日益被用于自动化业务中的分类任务，例如从文本中分析客户满意度。然而，LLM 的固有随机性在结果被视为确定性时会导致测量误差。这种问题往往被忽略于单轮输出的实证实践，或通过多数投票等临时方法加以解决。此类粗略方法未能量化不确定性，可能导致对 population-level 指标的偏差估计。本文提出一种正式的统计解决方案，通过引入贝叶斯潜在状态模型来加以解决。我们的模型将真实分类视为潜在变量，将多个 LLM 评级视为该结果状态的噪声测量。该框架联合估计 LLM 错误率、population-level 结果率、individual-level 结果概率以及干预（如果有的话）对结果的因果影响。该方法适用于完全无监督和准无监督两种设置，即 ground truth 标签不可用或仅对部分分类目标可用。我们提供形式化的理论条件和证明，以保证模型参数的严格可识别性。通过仿真研究，我们展示该模型准确恢复真实参数，显示出优于其他方法的优越性能和能力。我们提供基于任务难度级别的建模选择定制建议。我们还将其应用于分析超过 14,000 条客户支持 transcript 的真实案例研究。我们得出结论，该方法为将 LLM 的概率输出转换为用于科学和商业应用的可靠洞察提供了通用框架。