通过学会搭配实现序列的迁移学习
计算与语言
2019-02-26 v1 人工智能
摘要
迁移学习旨在通过应用源域的信息来解决目标域的数据稀疏问题。给定一个序列（例如自然语言句子），通常由循环神经网络（RNN）实现的迁移学习表征了序列信息的迁移。RNN使用一串重复单元来对序列数据建模。然而，以往基于神经网络的迁移学习研究仅用单个向量表征整个句子，这对于seq2seq和序列标注而言是不可行的。同时，此类逐层迁移学习机制丢失了来自源域的细粒度单元级信息。在本文中，我们提出对齐循环迁移（ART）以实现单元级信息迁移。ART基于预训练框架。每个单元注意力式地接受来自源域一组位置的迁移信息。因此，ART以更灵活的方式学习跨域词搭配。我们在序列标注任务（词性标注、NER）和句子分类（情感分析）上进行了大量实验。ART在所有实验中均优于最先进方法。
引用
@article{arxiv.1902.09092,
title = {Transfer Learning for Sequences via Learning to Collocate},
author = {Wanyun Cui and Guangyu Zheng and Zhiqiang Shen and Sihang Jiang and Wei Wang},
journal= {arXiv preprint arXiv:1902.09092},
year = {2019}
}
备注
Published at ICLR 2019