位置至关重要！知识 grounded 对话中顺序效应的实证研究
计算与语言
2023-02-14 v1 人工智能
机器学习
摘要
借助大型预训练语言模型的能力，各类研究工作已将知识整合进对话系统。传统技术将知识视为对话系统输入序列的一部分，把一组知识陈述前置拼接在对话历史之前。然而，这种机制迫使知识集以有序方式拼接，使模型在训练时隐式地对各集合给予不平衡的注意力。本文中，我们首先考察知识集的顺序如何影响自回归对话系统的回复。我们在两个常用对话数据集上基于两类transformer模型进行实验，发现模型对输入知识并非平等看待。为此，我们提出一种简单而新颖的技术，通过修改这些模型中知识输入的位置嵌入来缓解顺序效应。采用所提出的位置嵌入方法后，实验结果表明每条知识陈述都被均匀地用于生成回复。
引用
@article{arxiv.2302.05888,
title = {Position Matters! Empirical Study of Order Effect in Knowledge-grounded Dialogue},
author = {Hsuan Su and Shachi H Kumar and Sahisnu Mazumder and Wenda Chen and Ramesh Manuvinakurike and Eda Okur and Saurav Sahay and Lama Nachman and Shang-Tse Chen and Hung-yi Lee},
journal= {arXiv preprint arXiv:2302.05888},
year = {2023}
}