开放域多轮对话中哪种模型更优：分层还是非分层模型？一项实证研究
计算与语言
2020-08-10 v1 机器学习
机器学习
摘要
当前，开放域生成式对话系统在学术界和工业界引起了相当多的关注。尽管单轮对话生成取得了成功，多轮对话生成仍是一大挑战。迄今为止，开放域多轮对话生成有两种模型：分层模型与非分层模型。最近，一些工作表明在其实验设置下分层模型优于非分层模型；同时，一些工作也给出了相反的结论。由于缺乏充分的比较，目前尚不清楚在开放域多轮对话生成中哪类模型更优。因此，本文中我们在相同实验设置下系统性地评测几乎所有代表性的分层与非分层模型，以检验哪类更优。通过大量实验，我们得到以下三个重要结论：（1）除 HRAN 模型外，几乎所有分层模型在开放域多轮对话生成中都劣于非分层模型。进一步分析表明，HRAN 的优异表现主要依赖于其词级注意力机制；（2）若将词级注意力机制集成到其他分层模型中，它们的表现也会获得大幅提升，修改后的分层模型甚至显著优于非分层模型；（3）词级注意力机制对分层模型如此有效的原因在于它能更有效地利用上下文信息，尤其是细粒度信息。此外，我们已实现所有模型并已发布代码。
引用
@article{arxiv.2008.02964,
title = {Which Kind Is Better in Open-domain Multi-turn Dialog,Hierarchical or Non-hierarchical Models? An Empirical Study},
author = {Tian Lan and Xian-Ling Mao and Wei Wei and Heyan Huang},
journal= {arXiv preprint arXiv:2008.02964},
year = {2020}
}