一种用于多样化对话生成的等大小硬 EM 算法
计算与语言
2023-03-28 v2 人工智能
机器学习
摘要
开放域对话系统旨在以开放的方式通过自然语言文本与人类交互。尽管诸如 ChatGPT 等超大型对话系统近期取得了成功，使用中小型对话系统仍是常见做法，因为它们更轻量且易用；然而，生成多样化的对话回复具有挑战性，尤其是对于较小模型。在本工作中，我们提出一种等大小硬期望最大化（EqHard-EM）算法来训练一个多解码器模型以用于多样化对话生成。我们的算法以硬方式将样本分配给解码器，并额外施加等分配约束以确保所有解码器都得到充分训练。我们提供了详尽的理论分析以论证我们的方法。此外，在两个大规模开放域对话数据集上的实验验证了我们的 EqHard-EM 算法能生成高质量的多样化回复。
引用
@article{arxiv.2209.14627,
title = {An Equal-Size Hard EM Algorithm for Diverse Dialogue Generation},
author = {Yuqiao Wen and Yongchang Hao and Yanshuai Cao and Lili Mou},
journal= {arXiv preprint arXiv:2209.14627},
year = {2023}
}
备注
Accepted by ICLR 2023