GuideBench：面向 LLM 智能体的领域导向型指南遵循能力基准评测

大语言模型（LLMs）已被广泛部署为能够在现实应用中遵循用户指令并做出决策的自主智能体。先前的研究在通用领域的指令遵循能力基准评测方面取得了显著进展，主要关注其固有的常识知识。近来，LLMs 越来越多地被部署为领域导向型智能体，这些智能体依赖于可能与其常识知识相冲突的领域导向型指南。这些指南表现出两个关键特征：它们由广泛的领域导向型规则组成，并且会频繁更新。尽管存在这些挑战，但缺乏用于评估 LLMs 领域导向型指南遵循能力的全面基准，这对其有效评估和进一步发展构成了重大障碍。在本文中，我们引入了 GuideBench，一个旨在评估 LLMs 指南遵循性能的全面基准。GuideBench 从三个关键方面评估 LLMs：(i) 对多样化规则的遵循程度，(ii) 对规则更新的鲁棒性，以及 (iii) 与人类偏好的对齐程度。在一系列 LLMs 上的实验结果表明，它们在遵循领域导向型指南的能力方面仍有很大的提升空间。