面向个性化对话系统的联邦自然语言生成
计算与语言
2021-10-14 v1 人工智能
摘要
神经对话模型长期以来受困于不一致和缺乏连贯人格的问题。为解决该问题，已提出捕获个体特征的基于人格的模型，但它们仍面临模型适配与数据隐私的两难境地。为打破此困境，我们提出一种新颖的联邦自然语言生成（FedNLG）框架，该框架从分布式设备上的各种数据集学习个性化表示，从而高效且安全地实现个性化对话系统。FedNLG 首先在大对话语料库上预训练标准神经对话模型的参数，然后以联邦方式在特定数据集上微调模型参数与人格嵌入。因此，该模型能在本地客户端同时学习人格嵌入，并通过联邦聚合学习共享模型参数，从而实现准确率-隐私平衡。通过广泛开展实验，我们基于 Cornell Movie-Dialogs Corpus 预训练模型并在两个电视剧数据集上微调模型，证明了模型的有效性。
引用
@article{arxiv.2110.06419,
title = {Federated Natural Language Generation for Personalized Dialogue System},
author = {Yujie Lu and Chao Huang and Huanli Zhan and Yong Zhuang},
journal= {arXiv preprint arXiv:2110.06419},
year = {2021}
}
备注
9 pages, 5 figures