探索多轮主题驱动对话中有效信息的利用
计算与语言
2022-09-13 v2
摘要
对话总是与特定主题相关。然而，由于预训练语言模型（PLMs）的输入长度限制，在当前对话生成模型中同时融合来自不同来源的对话历史与主题信息具有挑战性。为了扩展 PLMs 可利用的信息，我们使用带有多通道 Fusion-in-Decoder（FiD）的特定提示对主题与对话历史信息进行编码，并探究了三种不同通道设置的影响。在本文中，我们的实验聚焦于一个名为 NaturalConv 的特定中文数据集，其中的对话围绕一条近期新闻展开。我们全面比较了不同的对话模型与不同的 FiD 通道设置。实证结果表明，通过将我们提出的整段通道与额外的历史通道相结合，我们的方法能够在 NaturalConv 上取得具有竞争力的性能，从而使得对过长文本中各类信息进行编码成为可能。
引用
@article{arxiv.2209.00250,
title = {Exploring Effective Information Utilization in Multi-Turn Topic-Driven Conversations},
author = {Jiatong Li and Bin He and Fei Mi},
journal= {arXiv preprint arXiv:2209.00250},
year = {2022}
}
备注
Exploring Chinese Dialogue Systems with external information