基于自包含干扰评估并改进多轮回复生成中的上下文注意力分布
计算与语言
2022-11-10 v1
摘要
尽管开放域生成式对话代理发展迅速，大多数已部署系统将对话上下文视为单轮处理，而处理多轮上下文的系统研究较少。目前缺乏评估多轮建模的可靠指标，也缺少改进它的有效方案。本文关注生成式多轮对话代理的一个核心组件：上下文注意力分布，即系统如何在对话上下文上分配注意力。针对该组件的评估，我们提出一种基于注意力机制的新指标：DAS ratio。为提升该组件性能，我们提出一种采用自包含干扰的优化策略。在Ubuntu chatlogs数据集上的实验表明，困惑度相近的模型可依据其上下文注意力分布能力加以区分。我们所提优化策略使非层次化与层次化模型在该指标上较基线提升约10%。
引用
@article{arxiv.2211.04943,
title = {Evaluating and Improving Context Attention Distribution on Multi-Turn Response Generation using Self-Contained Distractions},
author = {Yujie Xing and Jon Atle Gulla},
journal= {arXiv preprint arXiv:2211.04943},
year = {2022}
}