关于融入结构信息以改进对话回复生成
计算与语言
2020-06-01 v1
摘要
我们考虑从包含特定领域资源的背景知识中生成对话回复的任务。具体而言，给定围绕某部电影的对话，任务是利用关于该电影的背景知识（如情节、评论、Reddit 评论等）生成下一个回复。这需要从对话上下文和背景资源中捕捉结构、序列和语义信息。这是一项新任务，尚未受到社区的太多关注。我们提出了一种新架构，利用 BERT 捕捉深度上下文表征的能力，并结合显式的结构与序列信息。更具体地说，我们使用 (i) 图卷积网络（GCN）来捕捉结构信息，(ii) LSTM 来捕捉序列信息，以及 (iii) BERT 进行捕捉语义信息的深度上下文表征。我们对所提出的架构进行了广泛分析。为此，我们提出了一个即插即用的语义-序列-结构（SSS）框架，使我们能够有效地结合此类语言信息。通过一系列实验，我们得出了一些有趣的观察结果。首先，我们观察到 NLP 任务中流行的 GCN 模型适配方式——即将结构信息（GCN）叠加在序列信息（LSTM）之上——在我们的任务上表现不佳。这促使我们探索结合语义和结构信息以提升性能的有趣方法。其次，我们观察到，尽管 BERT 已经优于 ELMo 等其他深度上下文表征，但它仍然受益于使用 GCN 显式添加的额外结构信息。鉴于近期关于 BERT 已经捕捉了结构信息的声明，这有些令人惊讶。最后，所提出的 SSS 框架相较于基线实现了 7.95% 的提升。
引用
@article{arxiv.2005.14315,
title = {On Incorporating Structural Information to improve Dialogue Response Generation},
author = {Nikita Moghe and Priyesh Vijayan and Balaraman Ravindran and Mitesh M. Khapra},
journal= {arXiv preprint arXiv:2005.14315},
year = {2020}
}