等等，等一下：语言模型中 at-issue 敏感性研究
计算与语言
2025-11-05 v2 人工智能
摘要
评估语言模型 (LM) 中对话的自然性并不容易：'自然性'的概念各不相同，可扩展的定量指标仍有限。本研究利用语言学中的'at-issue'概念来评估对话自然性，提出一种新方法：Divide, Generate, Recombine, and Compare (DGRC)。DGRC (i) 将对话作为提示输入，(ii) 使用 LM 为子片段生成延续，(iii) 重新组合对话和延续，(iv) 比较重新组合序列的概率。这一方法缓解了对 LM 语言分析中的偏见， enables 对话相关行为进行系统性测试。应用 DGRC，我们发现 LM 偏好在 at-issue 内容上继续对话，随指令调优模型中，这一效果得到增强。他们也会在相关线索（例如'等等，等一下'）存在时减少对 at-issue 的偏好。尽管指令调优并未进一步放大这种调制，但该模式反映了成功对话动态的特征。
引用
@article{arxiv.2510.12740,
title = {Hey, wait a minute: on at-issue sensitivity in Language Models},
author = {Sanghee J. Kim and Kanishka Misra},
journal= {arXiv preprint arXiv:2510.12740},
year = {2025}
}
备注
10 pages, 5 figures, 3 tables. See https://github.com/sangheek16/hey-wait-a-minute for code and data