用基于KNN的复合记忆增强Transformer用于对话
计算与语言
2020-11-12 v2
摘要
各种机器学习任务都可受益于对不同模态外部信息（如文本与图像）的访问。近期工作聚焦于学习具有可存储此类知识的大容量记忆的架构。我们提出用基于KNN的信息获取（KIF）模块来增强生成式Transformer神经网络。每个KIF模块学习一种读取操作以访问固定的外部知识。我们将这些模块应用于生成式对话建模，这是一项具有挑战性的任务，其中必须灵活检索并融合信息以维持话题与对话流。我们通过从Wikipedia、图像以及人工撰写的对话语句中识别用于知识性且引人入胜对话所需的的相关知识，展示了方法的有效性，并表明利用这些检索到的信息可提升模型性能，这一点由自动与人工评估所度量。
引用
@article{arxiv.2004.12744,
title = {Augmenting Transformers with KNN-Based Composite Memory for Dialogue},
author = {Angela Fan and Claire Gardent and Chloe Braud and Antoine Bordes},
journal= {arXiv preprint arXiv:2004.12744},
year = {2020}
}