通过外部评估识别大语言模型中的多重人格
计算与语言
2024-02-23 v1 人工智能
摘要
随着大语言模型（LLM）迅速融入人类日常应用，关于LLM行为的许多社会和伦理问题被提出。理解LLM行为的方法之一是分析其人格。许多近期研究使用为人类创建的自评测试来量化LLM的人格。然而，许多批评质疑这些自评测试在应用于LLM时的适用性和可靠性。在本文中，我们使用另一种人格测量方法——我们称之为外部评估方法——来研究LLM人格，即不是用李克特量表的多选题提示LLM，而是通过使用外部机器学习模型分析LLM对开放式情境问题的回答来评估其人格。我们首先微调了一个Llama2-7B模型作为MBTI人格预测器，该预测器在分析LLM回答的工具上优于现有最先进模型。然后，我们用情境问题提示LLM，要求它们分别生成推文和评论，以评估它们在扮演两个不同角色时的人格。使用外部人格评估方法，我们发现LLM在生成推文与评论时获得的人格类型显著不同，而人类在这两种不同情境下表现出一致的人格特征。这表明LLM可以根据不同场景表现出不同人格，从而凸显了LLM与人类人格之间的根本差异。通过我们的工作，我们呼吁重新评估LLM中人格的定义和测量。
引用
@article{arxiv.2402.14805,
title = {Identifying Multiple Personalities in Large Language Models with External Evaluation},
author = {Xiaoyang Song and Yuta Adachi and Jessie Feng and Mouwei Lin and Linhao Yu and Frank Li and Akshat Gupta and Gopala Anumanchipalli and Simerjot Kaur},
journal= {arXiv preprint arXiv:2402.14805},
year = {2024}
}