你的上下文有多有说服力？
计算与语言
2025-09-23 v1 人工智能
摘要
语言模型（LM）的两个核心能力是：（i）利用关于实体的先验知识进行回答，例如“奥地利的官方语言是什么？”，以及（ii）适应上下文中提供的新信息，例如在问题前添加“请假装奥地利的官方语言是塔加洛语”。本文引入了针对性说服得分（Targeted Persuasion Score, TPS），旨在量化给定上下文对 LM 的说服力，其中说服被操作化为上下文改变 LM 对问题答案的能力。与仅通过检查模型在贪婪解码答案时的说服力评估不同，TPS 提供了对模型行为更细致的视图。基于 Wasserstein 距离，TPS 测量上下文将模型原始答案分布向目标分布移动的程度。通过一系列实验，我们证明了 TPS 捕捉的说服力概念比此前提出的度量方式更细致。
关键词
引用
@article{arxiv.2509.17879,
title = {How Persuasive is Your Context?},
author = {Tu Nguyen and Kevin Du and Alexander Miserlis Hoyle and Ryan Cotterell},
journal= {arXiv preprint arXiv:2509.17879},
year = {2025}
}
备注
Long paper accepted at EMNLP 2025