通过离散潜变量模型的 JSA 学习推进半监督任务型对话系统
计算与语言
2022-07-26 v1
摘要
利用无标注对话数据开发半监督任务型对话（TOD）系统已引起日益广泛的关注。对于潜状态 TOD 模型的半监督学习，常采用变分学习，但其受限于经离散潜变量传播梯度的恼人高方差，以及间接优化目标对数似然的缺陷。近来，一种称为联合随机近似（JSA）的替代算法崭露头角，在离散潜变量模型学习中展现出卓越性能。本文中，我们提出将 JSA 应用于潜状态 TOD 模型的半监督学习，称为 JSA-TOD。据我们所知，JSA-TOD 是首个针对 TOD 系统等此类长序列生成问题、开发基于 JSA 的离散潜变量条件模型半监督学习的工作。大量实验表明，JSA-TOD 显著优于其变分学习对应方法。值得注意的是，使用 20% 标注数据的半监督 JSA-TOD 在 MultiWOZ2.1 上性能接近全监督基线。
引用
@article{arxiv.2207.12235,
title = {Advancing Semi-Supervised Task Oriented Dialog Systems by JSA Learning of Discrete Latent Variable Models},
author = {Yucheng Cai and Hong Liu and Zhijian Ou and Yi Huang and Junlan Feng},
journal= {arXiv preprint arXiv:2207.12235},
year = {2022}
}
备注
Accepted into SIGDIAL 2022