中文

规模化扩展出声思考法

计算与语言 2025-06-02 v1 人工智能

摘要

出声思考法要求参与者在解决任务时将想法表达出来,是关于人类推理过程丰富数据的宝贵来源。然而,它在当代认知科学中的普及度有所下降,主要因为耗时的转录和标注阻碍了大规模样本的研究。在此,我们开发了利用自然语言处理工具自动化转录和标注言语推理报告的方法,从而实现对出声思考数据的大规模分析。在我们的研究中,640 名参与者在进行 24 点游戏(一种数学推理任务)时进行出声思考。我们自动转录了录音,并将转录文本编码为搜索图,发现其与人类评分者具有中等评分者间信度。我们分析了这些图,并表征了人类推理轨迹的一致性与变异性。我们的工作展示了大规模出声思考数据的价值,并作为言语报告自动化分析的概念验证。

关键词

引用

@article{arxiv.2505.23931,
  title  = {Scaling up the think-aloud method},
  author = {Daniel Wurgaft and Ben Prystawski and Kanishk Gandhi and Cedegao E. Zhang and Joshua B. Tenenbaum and Noah D. Goodman},
  journal= {arXiv preprint arXiv:2505.23931},
  year   = {2025}
}

备注

8 pages, 4 figures. Daniel Wurgaft and Ben Prystawski contributed equally