PVGRU：通过伪变分机制生成多样且相关的对话回复
计算与语言
2023-05-17 v4
摘要
我们研究生成式聊天机器人中多轮对话的回复生成。现有基于 RNN（循环神经网络）的生成模型通常使用最后一个隐藏状态来概括序列，这使得模型无法捕捉不同对话中观察到的细微变异性，也无法区分组成相似的对话之间的差异。本文通过将循环概括变量引入 GRU，提出了一种无需后验知识的伪变分门控循环单元（PVGRU）组件，该组件能够聚合子序列的累积分布变化。PVGRU 可通过由设计的分布一致性和重构目标优化的概括变量来感知细微的语义变异性。此外，我们基于 PVGRU 构建了伪变分层次对话（PVHD）模型。实验结果表明，PVGRU 在两个基准数据集上能够广泛提升回复的多样性和相关性。
引用
@article{arxiv.2212.09086,
title = {PVGRU: Generating Diverse and Relevant Dialogue Responses via Pseudo-Variational Mechanism},
author = {Yongkang Liu and Shi Feng and Daling Wang and Yifei Zhang and Hinrich Schütze},
journal= {arXiv preprint arXiv:2212.09086},
year = {2023}
}
备注
ACL2023 main conference