大型语言模型的序列位置效应
计算与语言
2024-06-25 v1
摘要
大型语言模型在零样本学习应用中展现出了卓越的能力，仅利用预训练信息即可生成对查询的响应，无需额外微调。这代表了与传统机器学习方法的显著不同。先前的研究表明，大型语言模型可能表现出序列位置效应，例如首因偏差和近因偏差，这些是人类心理学中记录完备的认知偏差。我们在各种任务和模型上的广泛测试证实了这些效应的普遍存在，尽管其强度有所变化。我们还发现，虽然精心设计的提示可以在一定程度上缓解这些偏差，但其效果并不一致。这些发现强调了序列位置效应在推理过程中的重要性，特别是在没有真实标签的场景中，凸显了在大型语言模型应用中需要更加关注这些效应。
引用
@article{arxiv.2406.15981,
title = {Serial Position Effects of Large Language Models},
author = {Xiaobo Guo and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2406.15981},
year = {2024}
}