超越金鱼记忆:长程开放域对话
计算与语言
2021-07-19 v1 人工智能
摘要
尽管开放域对话模型近来有所改进,但最先进的模型都是在上下文很少的短对话上训练和评估的。相比之下,长程对话设定几乎未被研究。在这项工作中,我们收集并发布了一个人人对话数据集,包含多次聊天会话,其中对话伙伴相互了解彼此的兴趣并讨论从过去会话中学到的内容。我们展示了在现有数据集上训练的现有模型在自动和人工评估中均在此长程对话设定下表现不佳,并研究了能表现好得多的长上下文模型。特别地,我们发现检索增强方法以及能够总结和回忆先前对话的方法优于目前被认为最先进的标准编码器-解码器架构。
引用
@article{arxiv.2107.07567,
title = {Beyond Goldfish Memory: Long-Term Open-Domain Conversation},
author = {Jing Xu and Arthur Szlam and Jason Weston},
journal= {arXiv preprint arXiv:2107.07567},
year = {2021}
}