ChatGPT 能评估人的人格吗？一种通用评估框架

大语言模型（LLM）尤其是 ChatGPT 已在多个领域取得令人印象深刻的成果，但其潜在类人心理仍很大程度上未被探索。现有工作研究了 LLM 的虚拟人格，但很少探索通过 LLM 分析人类人格的可能性。本文提出一种基于迈尔斯-布里格斯类型指标（MBTI）测试的通用 LLM 评估框架以评估人类人格。具体而言，我们首先通过随机置换 MBTI 问题中的选项来设计无偏提示，并采用平均测试结果以鼓励更公正的回答生成。然后，我们提出替换问题陈述中的主体，以实现对来自 LLM 的不同主体的灵活查询与评估。最后，我们以正确性评估的方式重构问题指令，以促使 LLM 生成更清晰的响应。所提框架使 LLM 能够灵活评估不同人群的人格。我们进一步提出三个评估指标，以衡量包括 ChatGPT 和 GPT-4 在内的前沿 LLM 评估结果的一致性、鲁棒性和公平性。我们的实验揭示了 ChatGPT 评估人类人格的能力，平均结果表明，尽管相较于 InstructGPT 对提示偏置的鲁棒性较低，它仍能实现更一致和更公平的评估。