ChatGPT 的首因效应
计算与语言
2024-05-15 v2 人工智能
摘要
指令微调大语言模型（LLM），如 ChatGPT，在判别性自然语言理解（NLU）任务的零样本性能上表现可观。这涉及使用含问题与待选标签的提示查询 LLM。ChatGPT 的问答能力源于其对大量人类撰写文本的预训练，以及随后基于人类偏好的微调，这促使我们发问：ChatGPT 是否也继承了人类的认知偏差？本文研究 ChatGPT 的首因效应：即倾向选择较早位置标签作为答案。我们有两点主要发现：i) ChatGPT 的决策对提示中标签顺序敏感；ii) ChatGPT 明显更高概率选择较早位置标签作为答案。我们希望实验与分析为构建更可靠的基于 ChatGPT 的方案提供额外见解。我们在 https://github.com/wangywUST/PrimacyEffectGPT 发布源代码。
引用
@article{arxiv.2310.13206,
title = {Primacy Effect of ChatGPT},
author = {Yiwei Wang and Yujun Cai and Muhao Chen and Yuxuan Liang and Bryan Hooi},
journal= {arXiv preprint arXiv:2310.13206},
year = {2024}
}
备注
EMNLP 2023 short paper