中文

无法通过调查测量的内容:LLMs 作为劳动经济学中潜在认知变量的测量工具

计量经济学 2026-04-06 v1 计算与语言 统计方法学

摘要

本文建立了使用大型语言模型(LLMs)作为潜在经济变量——特别是以现有调查工具无法达到的粒度描述职业任务认知内容的变量——测量工具的理论基础与实践基础。我形式化了 LLM 生成分数构成有效工具变量的四个条件:语义外生性、建构相关性、单调性与模型不变性。随后将该框架应用于增强人力资本指数(AHC_o),该指数由 18,796 条 O*NET 任务陈述经 Claude Haiku 4.5 评分构建,并与六项现有 AI 暴露指数进行了验证。该指数与 Eloundou GPT-gamma 的收敛效度很强(r = 0.85),与 Felten AIOE 的收敛效度为 r = 0.79,且具有区分效度。主成分分析证实,与 AI 相关的职业测量指标涵盖两个不同维度——增强与替代。两个 LLM 模型之间的评分者间信度(n = 3,666 对评分)得出 Pearson r = 0.76 和 Krippendorff's alpha = 0.71。四种替代框架的提示敏感性分析表明任务层面的排名具有鲁棒性。显相关工具变量(ORIV)估计恢复的系数比 OLS 大 25%,与经典的测量误差衰减一致。该方法论可推广至劳动经济学以外的任何需要大规模量化语义内容的领域。

关键词

引用

@article{arxiv.2604.02403,
  title  = {Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics},
  author = {Cristian Espinal Maya},
  journal= {arXiv preprint arXiv:2604.02403},
  year   = {2026}
}

备注

Working paper. 13 pages, 7 figures, 6 references. Part of the Cognitive Factor Economics research program. Code: https://github.com/Cespial/cognitive-factor-economics