面向增量域适应的渐进式记忆库
计算与语言
2020-02-17 v2 人工智能
机器学习
摘要
本文解决自然语言处理（NLP）中的增量域适应（IDA）问题。我们假设每个域依次到来，且我们只能访问当前域中的数据。IDA的目标是构建一个在已遇到的所有域上均表现良好的统一模型。我们采用NLP中广泛使用的循环神经网络（RNN），但为其增强一个直接参数化的记忆库，该记忆库在RNN转移的每一步通过注意力机制进行检索。记忆库提供了一种自然的IDA方式：当将模型适应到新域时，我们逐步向记忆库中添加新槽位，从而增加参数数量，进而提升模型容量。我们通过反向传播学习新的记忆槽位并微调已有参数。实验结果表明，我们的方法显著优于仅进行微调的方法。与扩展隐藏状态相比，我们的方法对旧域更加鲁棒，这由经验和理论结果共同表明。我们的模型在实验中还优于以往的IDA工作，包括弹性权重巩固和渐进式神经网络。
引用
@article{arxiv.1811.00239,
title = {Progressive Memory Banks for Incremental Domain Adaptation},
author = {Nabiha Asghar and Lili Mou and Kira A. Selby and Kevin D. Pantasdo and Pascal Poupart and Xin Jiang},
journal= {arXiv preprint arXiv:1811.00239},
year = {2020}
}
备注
ICLR 2020