GPT-3 用于零样本人格估计的系统评估
计算与语言
2023-06-05 v1
摘要
极大语言模型（LLM）在零样本设定下对一系列 NLP 任务表现极佳。然而，人们对其在依赖理解心理概念（如评估人格特质）的人类层级 NLP 问题上的表现知之甚少。本文中，我们考察了 GPT-3 从用户社交媒体帖子估计大五人格特质的零样本能力。通过一组系统实验，我们发现零样本 GPT-3 在提示中注入有关该特质的知识后，其性能在宽泛分类上接近已有的预训练 SOTA；但在被提示进行细粒度分类时，其性能下降至接近简单最常见类（MFC）基线。我们进一步分析了 GPT-3 相对于预训练词法模型表现较好与较差之处，揭示了暗示了改进 LLM 在人类层级 NLP 任务上表现方式的系统性错误。
引用
@article{arxiv.2306.01183,
title = {Systematic Evaluation of GPT-3 for Zero-Shot Personality Estimation},
author = {Adithya V Ganesan and Yash Kumar Lal and August Håkan Nilsson and H. Andrew Schwartz},
journal= {arXiv preprint arXiv:2306.01183},
year = {2023}
}
备注
Short Paper (5 pages), Accepted to (WASSA) 13th Workshop on Computational Approaches to Subjectivity, Sentiment & Social Media Analysis at ACL 2023