终身语言学习中的情景记忆
机器学习
2019-11-27 v3 计算与语言
机器学习
摘要
我们引入了一种终身语言学习设置，其中模型需要在没有任何数据集标识符的情况下从文本示例流中学习。我们提出了一种情景记忆模型，该模型执行稀疏经验回放和局部适应，以在该设置中缓解灾难性遗忘。在文本分类和问答上的实验证明了稀疏经验回放和局部适应的互补优势，使模型能够持续从新数据集中学习。我们还表明，通过随机选择在内存中存储哪些示例，情景记忆模块的空间复杂度可显著降低（约 50-90%），且性能下降极小。我们将情景记忆组件视为通用语言智能的关键构建模块，并将我们的模型视为朝该方向迈出的第一步。
引用
@article{arxiv.1906.01076,
title = {Episodic Memory in Lifelong Language Learning},
author = {Cyprien de Masson d'Autume and Sebastian Ruder and Lingpeng Kong and Dani Yogatama},
journal= {arXiv preprint arXiv:1906.01076},
year = {2019}
}
备注
Proceedings of NeurIPS 2019