细微差别 matters：探讨因果推理中的认知一致性
计算与语言
2024-09-04 v1 人工智能
摘要
为此，本研究提出了因果认知一致性（causal epistemic consistency）的概念，聚焦于大语言模型（LLMs）在区分因果推理中中间变量细微差异上的自我一致性。我们提出了一套新颖的指标——强度排序一致性、跨组位置一致性和同组聚类——来评估 LLMs 在这方面的表现。通过对 21 项高流量 LLMs（包括 GPT-4、Claude3 和 LLaMA3-70B）的广泛实证研究，我们获得了支持当前模型在保持因果推理中中间变量极性和强度识别认知一致性方面存在挑战的证据。此外，我们探索了将内部 token 概率用作维持因果认知一致性的辅助工具的潜力。总之，本研究填补了 AI 研究中的关键空白，探讨了因果推理中涉及的细粒度中间变量之间的自我一致性。
引用
@article{arxiv.2409.00103,
title = {Nuance Matters: Probing Epistemic Consistency in Causal Reasoning},
author = {Shaobo Cui and Junyou Li and Luca Mouchel and Yiyang Feng and Boi Faltings},
journal= {arXiv preprint arXiv:2409.00103},
year = {2024}
}
备注
20 pages