ChatGPT 的一致性分析

ChatGPT 自推出以来广受欢迎。许多媒体平台报道了其积极方面，一些分析甚至显示 ChatGPT 在专业考试中取得不错成绩，进一步支持了 AI 如今可在工业领域辅助乃至替代人类的说法。然而，其他人则质疑其可靠性与可信度。本文从逻辑一致行为角度考察 ChatGPT 与 GPT-4 的可信度，特别关注语义一致性以及否定、对称与传递一致性的性质。我们的发现表明，尽管两模型看似展现出增强的语言理解与推理能力，它们仍频繁无法生成逻辑一致的预测。我们还通过实验确认，提示设计、少样本学习以及采用更大的大语言模型（LLM）不太可能成为解决 LLM 不一致问题的根本方案。