基于位置消偏的因果感知长期对话微调

对话系统的核心是基于广泛的对话历史生成相关、信息丰富且符合人类习惯的响应。最近，大型语言模型（LLM）因其强大的生成语料能力而主流化。然而，这些模型存在天然的位置偏差，即倾向于关注附近的语料而非因果相关的语料，导致在长期对话中生成不相关或通用响应。为缓解此问题，本文提出一种新方法，称为因果感知长期对话框架（CPD），其利用扰动基于因果变量发现的方法从对话历史中提取因果相关语料，并在微调期间增强模型的因果感知。具体而言，CPD 提出一种局部位置感知方法，用于消除句子间的位置相关性，从而帮助模型在扰动基础上提取因果相关语料。然后，提出一种因果感知微调策略，通过对因果相关和非因果相关语料进行不同扰动来增强发现因果不变因素的能力，以用于响应生成。在两个数据集上的实验结果表明，我们提出的方法能够有效缓解多种 LLM 的位置偏差，并相对于现有基线方法实现显著进展。