论LSTM语言模型的长期学习能力
计算与语言
2021-06-17 v1 机器学习
摘要
我们通过评估基于连续词袋(Continuous Bag-of-Words, CBOW)模型的上下文扩展（用于句子级与语篇级LSTM语言模型(Long Short-Term Memory language models, LSTM LMs)）并分析其性能，来考察LSTM LMs的长期学习能力。我们在文本与语音上进行评测。采用长期上下文模块的句子级模型表现与原始语篇级LSTM LMs相当。另一方面，该扩展并未给语篇级模型带来增益。这些发现表明，语篇级LSTM LMs已依赖上下文信息来进行长期学习。
引用
@article{arxiv.2106.08927,
title = {On the long-term learning ability of LSTM LMs},
author = {Wim Boes and Robbe Van Rompaey and Lyan Verwimp and Joris Pelemans and Hugo Van hamme and Patrick Wambacq},
journal= {arXiv preprint arXiv:2106.08927},
year = {2021}
}