大语言模型记忆不确定性受扇效应的调制
计算与语言
2024-10-01 v2 人工智能
摘要
本文评估了大语言模型 (LLM) 是否 exhibits 类人-Anderson 发现的认知扇效应。我们进行了两套原位记忆实验，以诱发扇效应。与人类结果一致，我们发现 LLM 的记忆不确定性（通过标记概率测量）受扇效应的影响。我们的结果显示，移除不确定性会破坏观察到的效应。实验表明，无论扇值是原位诱导还是在预训练数据中诱导，扇效均是一致的。最后，这些发现为扇效和典型性作为同一现象的硅基证据提供了支持。
引用
@article{arxiv.2407.06349,
title = {Large Language Model Recall Uncertainty is Modulated by the Fan Effect},
author = {Jesse Roberts and Kyle Moore and Thao Pham and Oseremhen Ewaleifoh and Doug Fisher},
journal= {arXiv preprint arXiv:2407.06349},
year = {2024}
}