TopicRefine：面向多轮端到端对话系统的联合话题预测与对话回复生成
计算与语言
2021-09-14 v1 人工智能
摘要
多轮对话始终遵循特定的话题线索，且随着对话推进，语篇层面的话题转移自然发生，这要求模型具备捕捉不同话题并生成话题感知回复的能力。以往研究或是先预测话题再生成相关回复，或是简单地将注意力机制应用于所有话题，忽视了话题预测与回复生成模型的联合分布，导致不可控且与话题无关的回复。本文中，我们提出一种带有话题精炼机制的联合框架，以同时学习这两项任务。具体而言，我们设计了一种三遍迭代机制：先生成粗略回复，再预测相应话题，最后以预测话题为条件生成精炼回复。此外，我们分别利用 GPT2DoubleHeads 与 BERT 进行话题预测任务，旨在探究联合学习的效果及 GPT 模型的理解能力。实验结果表明，我们所提框架在回复生成任务上取得了新的 SOTA 性能，并展现出 GPT 模型巨大的理解潜力。
引用
@article{arxiv.2109.05187,
title = {TopicRefine: Joint Topic Prediction and Dialogue Response Generation for Multi-turn End-to-End Dialogue System},
author = {Hongru Wang and Mingyu Cui and Zimo Zhou and Gabriel Pui Cheong Fung and Kam-Fai Wong},
journal= {arXiv preprint arXiv:2109.05187},
year = {2021}
}