基于传递公理评估 AI 决策的合理性
人工智能
2025-02-18 v1
摘要
基本选择公理，如偏好传递性，提供了用于确定人类决策是否符合理性——即是否符合效用表示——的可检验条件。最近的研究表明，训练于人类数据的数据驱动 AI 系统可能呈现与人类类似的推理偏见，同时 AI 也可能通过 AI 推荐系统影响人类判断。我们通过一系列设计用于评估偏好传递性的人类选择实验来评估 AI 响应的理性。我们考察了 Meta 的 Llama 2 和 3 十个版本的大语言模型。我们应用贝叶斯模型选择来评估这些 AI 生成的选择是否违反了两种主要的传递性模型。我们发现，Llama 2 和 3 模型通常满足传递性，但在发生违反情况时，仅限于大语言模型的 Chat/Instruct 版本。我们认为，诸如偏好传递性之类的理性公理，可用于评估和基准化 AI 生成响应的质量，并为更广泛地理解 AI 系统中的计算理性提供了基础。
引用
@article{arxiv.2502.10554,
title = {Benchmarking the rationality of AI decision making using the transitivity axiom},
author = {Kiwon Song and James M. Jennings and Clintin P. Davis-Stober},
journal= {arXiv preprint arXiv:2502.10554},
year = {2025}
}
备注
13 pages, 2 figures, 3 tables