用于词性标注领域自适应的预训练与随机单元联合学习
计算与语言
2019-04-09 v1 机器学习
机器学习
摘要
微调神经网络被广泛用于将有价值的知识从高资源领域迁移到低资源领域。在标准的微调方案中，源问题和目标问题使用相同的架构进行训练。尽管预训练单元能够适应新领域，但难以学习不常见的目标特定模式。在本文中，我们提出用归一化、加权且随机初始化的单元来增强目标网络，从而在保持有价值的源知识的同时实现更好的自适应。我们在社交媒体文本（推特领域）的词性标注实验表明，我们的方法在3个常用数据集上取得了最先进的性能。
引用
@article{arxiv.1904.03595,
title = {Joint Learning of Pre-Trained and Random Units for Domain Adaptation in Part-of-Speech Tagging},
author = {Sara Meftah and Youssef Tamaazousti and Nasredine Semmar and Hassane Essafi and Fatiha Sadat},
journal= {arXiv preprint arXiv:1904.03595},
year = {2019}
}