将预训练语言模型用作认知科学理论的潜力与陷阱
计算与语言
2025-01-23 v1 人工智能
摘要
许多研究都在评估预训练语言模型 (Pre-trained Language Models, PLMs) 的认知对齐性，即其在广泛认知领域中与成人表现的对应性。最近的焦点已扩展到这些模型的发展对齐性：在训练过程中识别模型性能跟随儿童思维发展过程中改进的阶段。然而, 将 PLMs 作为认知科学理论存在诸多挑战,包括不同的架构、不同的训练数据模态和规模,以及模型可解释性有限。本文从将 PLMs 视为认知科学和发展科学模型而非工程制品的角度,概述了所学到的经验教训。我们审查了研究人员将 PLM 性能措施映射到人类表现措施所采用的假设。我们确定了理解人类思维的这一方法的潜在陷阱,并对使用 PLMs 作为认知和认知发展可信账户的准则进行了列举。
引用
@article{arxiv.2501.12651,
title = {The potential -- and the pitfalls -- of using pre-trained language models as cognitive science theories},
author = {Raj Sanjay Shah and Sashank Varma},
journal= {arXiv preprint arXiv:2501.12651},
year = {2025}
}