大语言模型驱动评估中目标设定理论的局限性

许多用户使用ChatGPT等AI工具时采用一种将系统视为类人的心理模型，我们称之为模型H。根据目标设定理论，目标的具体性增加应降低表现方差。若模型H成立，则用更详细的指令提示聊天机器人应带来更一致的评估行为。本文通过受控实验检验该假设，让ChatGPT使用四种递增具体性的提示评估29份学生作业。我们通过多次重复运行中的评分者内一致性（Cohen's Kappa）来衡量一致性。与预期相反，表现并未随提示具体性的增加而持续改善，且表现方差基本保持不变。这些发现挑战了LLM行为类似人类评估者的假设，并强调未来模型开发中需要更强的鲁棒性和改进的输入整合。