具有多重可控属性的渐进式开放域回复生成
计算与语言
2021-06-29 v1 机器学习
摘要
在开放域对话系统中，纳入更多可控属性以增强生成回复的多样性是值得追求的。然而，现有方法只能生成具有单一可控属性的回复，或缺乏以多重可控属性生成的灵活方式。本文提出一种渐进式训练的分层编码器-解码器（PHED）来处理该任务。更具体地，PHED在Transformer上部署条件变分自编码器（CVAE），以在每一阶段纳入一方面属性。CVAE的一个重要特征是将每阶段的潜变量分为两类：捕获公共语义特征的全局变量，以及吸收该阶段属性信息的特定变量。PHED随后将CVAE潜变量与Transformer编码器耦合，并通过最小化新推导的ELBO与受控损失进行训练，以产生下一阶段输入并按要求生成回复。最后，我们进行了广泛评估，表明PHED显著优于最先进的神经生成模型，并按预期生成更具多样性的回复。
引用
@article{arxiv.2106.14614,
title = {Progressive Open-Domain Response Generation with Multiple Controllable Attributes},
author = {Haiqin Yang and Xiaoyuan Yao and Yiqun Duan and Jianping Shen and Jie Zhong and Kun Zhang},
journal= {arXiv preprint arXiv:2106.14614},
year = {2021}
}
备注
7 pages, 2 figures, 3 tables, in IJCAI'21