策略性对话评估：通往无辜的曲折路径

语言常被策略性地使用，尤其是在高风险的对抗性环境中，然而关于语用学和大型语言模型 (LLM) 的大多数工作都以合作为中心。这在系统性理解对抗性环境中的策略性沟通方面留下了空白。为了解决这个问题，我们引入了策略性对话评估 (Strategic Dialogue Assessment, SDA)，这是一个基于格莱斯语用学和博弈论语用学来评估语言策略性使用的框架。它改编了 ME Game 的陪审团函数，使其在分析对话时具有经验可估计性。我们的方法包含两个关键改编：基于承诺的话语动作分类法，为策略效果提供了更细粒度的描述；以及使用基于格莱斯准则的可估计代理变量，将诸如可信度等抽象结构操作化。这些改编将话语视为对承诺的策略性管理，从而建立在话语理论的基础上，使得能够系统评估对话动作如何推进或破坏话语目标。我们进一步推导出三个可解释的指标——回合收益 (Benefit at Turn, BAT)、回合惩罚 (Penalty at Turn, PAT) 和回合归一化相对收益 (Normalized Relative Benefit at Turn, NRBAT)——以量化话语动作的感知策略效果。我们还提出了曲折路径数据集 (the Crooked Path Dataset, CPD)，这是一个真实法庭交叉询问的标注数据集，以展示该框架的有效性。使用这些工具，我们评估了一系列 LLM，并表明 LLM 通常对策略性语言的语用理解有限。虽然模型规模显示在我们的指标上性能有所提升，但推理能力并无帮助且在很大程度上是有害的，引入了过度复杂化和内部混乱。