构建儿童科学绘画标准：基于大语言模型语义相似度的分布特征
计算与语言
2025-08-28 v2 人工智能
摘要
使用儿童绘画来检验其概念理解已被证明是有效的方法，但以往研究存在两个主要问题：1. 绘画内容高度依赖具体任务，生态有效性较差；2. 对绘画的解读过度依赖研究人员的主观主观感受。为此，本研究采用大语言模型（LLM）识别1420幅儿童科学绘画（覆盖9个科学主题/概念），并使用 word2vec 计算其语义相似度。研究探讨是否存在儿童对相同主题的一致绘画表征，旨在为后续儿童绘画研究建立标准，为后续研究提供基准参考。结果表明，大多数绘画表征具有一致性，表现为大多数语义相似度大于0.8。同时发现，表征一致性独立于准确率（LLM识别准确率），表明一致性偏差的存在。在随后对影响因素的探索中，我们采用 Kendall 秩相关系数检验了“样本量”、“抽象程度”和“关注点”对绘画的影响，并通过词频统计探讨儿童是否通过复刻课堂教学内容来表征抽象主题/概念。结果发现，准确率（LLM识别准确率）是最敏感的指标，样本量和语义相似度与之相关；课堂实验结果与教学目的的一致性也是重要因素，许多学生更关注实验本身而非其解释内容。
引用
@article{arxiv.2502.15348,
title = {Constructing a Norm for Children's Scientific Drawing: Distribution Features Based on Semantic Similarity of Large Language Models},
author = {Yi Zhang and Fan Wei and Jingyi Li and Yan Wang and Yanyan Yu and Jianli Chen and Zipo Cai and Xinyu Liu and Wei Wang and Sensen Yao and Peng Wang and Zhong Wang},
journal= {arXiv preprint arXiv:2502.15348},
year = {2025}
}