人类-LLM 交互中的 grounding 障碍：研究与基准

语言模型在遵循指令方面表现出色，但在人类自然使用的协作方面常常遇到困难。这一grounding——即会话参与者建立相互理解的过程——的限制，可能导致从用户沮丧到高风险情境下的严重后果。为系统性地研究人类-LLM 交互中的grounding挑战，我们分析了来自WildChat、MultiWOZ和Bing Chat三个人类-助手数据集的日志。我们发展了grounding行为的分类框架，构建模型以标注和预测grounding行为。我们的发现表明，人类-人类和人类-LLM之间的grounding存在显著差异：LLM不太可能发起澄清，发起澄清的概率比人类低3倍，提供后续请求的概率比人类低16倍。此外，我们发现早期的grounding失败可预测后续交互崩溃。基于这些见解，我们引入Rifts——一个来自公开LLM交互数据的基准，包含LLM未能发起grounding的情况。我们指出，当前主流模型在Rifts上表现不佳，这凸显了需要重新考虑如何训练和提示LLM以进行人类交互的必要性。为此，我们开发了一个旨在缓解grounding失败的初步干预措施。