少即是多:通过因果发现缓解开放域对话生成模型的伪相关
计算与语言
2023-03-06 v1 人工智能
摘要
在本文中,我们基于工作中整理的语料库 CGDIALOG,首次对开放域回复生成模型的伪相关进行了研究。当前模型确实受到伪相关的影响,并倾向于生成不相关和通用的回复。受因果发现算法启发,我们提出了一种新颖的模型无关方法,利用条件独立分类器进行回复生成模型的训练与推理。该分类器通过一种约束自训练方法(称为 CONSTRAIN)进行训练,以克服数据稀缺问题。基于人工和自动评估的实验结果表明,我们的方法在相关性、信息量和流畅性方面显著优于具有竞争力的基线。
引用
@article{arxiv.2303.01962,
title = {Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery},
author = {Tao Feng and Lizhen Qu and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2303.01962},
year = {2023}
}