面向神经语言模型的生成式知识迁移
机器学习
2017-03-01 v3
摘要
本文提出了一种生成式知识迁移技术，该技术利用预训练的 RNN（教师网络）生成的文本和输出概率来训练基于 RNN 的语言模型（学生网络）。文本生成可由教师网络或学生网络执行。我们还可以通过集成从多个教师网络获得的软标签来提升性能。此方法可用于隐私敏感的语言模型自适应，因为训练过程中不直接使用用户数据。特别是，当多个设备的软标签通过可信第三方聚合时，我们可以预期非常强的隐私保护。
引用
@article{arxiv.1608.04077,
title = {Generative Knowledge Transfer for Neural Language Models},
author = {Sungho Shin and Kyuyeon Hwang and Wonyong Sung},
journal= {arXiv preprint arXiv:1608.04077},
year = {2017}
}