大语言模型拥有人格吗？将MBTI测试打造为评估大语言模型的绝佳工具
计算与语言
2023-08-01 v1
摘要
大语言模型（LLMs）领域已取得显著进展，其知识存储能力正接近人类水平。此外，提示学习和强化学习等先进技术正被用于解决LLMs相关的伦理问题与幻觉问题，使其更贴近人类价值观。这一情形自然引出一个问题：具备类人能力的LLMs是否拥有类人的人格？在本文中，我们旨在研究使用迈尔斯-布里格斯类型指标（MBTI）——一种广泛应用的人类人格评估工具——作为LLMs评估指标的可行性。具体而言，将开展大量实验以探究：1）不同LLMs的人格类型，2）通过提示工程改变人格类型的可能性，以及3）训练数据集如何影响模型的人格。尽管MBTI并非严谨的评估，它仍能反映LLMs与人类人格之间的相似性。在实践中，MBTI有潜力作为一种粗略指标。我们的代码可在 https://github.com/HarderThenHarder/transformers_tasks/tree/main/LLM/llms_mbti 获取。
引用
@article{arxiv.2307.16180,
title = {Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models},
author = {Keyu Pan and Yawen Zeng},
journal= {arXiv preprint arXiv:2307.16180},
year = {2023}
}