用于领域自适应的神经结构对应学习
计算与语言
2017-06-20 v3
摘要
领域自适应，即将模型从富含标注训练数据的领域适配到缺乏此类数据的领域，是自然语言处理（NLP）的一项根本性挑战。我们引入了一个神经网络模型，该模型融合了通过表示学习进行领域自适应的两个重要研究方向的思想：结构对应学习（SCL, (Blitzer et al., 2006)）和自编码器神经网络。具体而言，我们的模型是一个三层神经网络，它学习将输入示例的非枢轴特征编码为低维表示，从而可以从该表示中解码出示例中是否存在枢轴特征（即在两个领域中都突出且为NLP任务传递有用信息的特征）。该低维表示随后被用于任务的学习算法中。此外，我们展示了如何将预训练的词嵌入注入我们的模型，以改进具有相似枢轴特征的示例间的泛化能力。在包含12个领域对的跨领域产品情感分类任务（Blitzer et al., 2007）上，我们的模型在领域对上的平均性能分别比SCL方法和边缘化堆叠去噪自编码器（MSDA, (Chen et al., 2012)）方法高出3.77%和2.17%。
引用
@article{arxiv.1610.01588,
title = {Neural Structural Correspondence Learning for Domain Adaptation},
author = {Yftah Ziser and Roi Reichart},
journal= {arXiv preprint arXiv:1610.01588},
year = {2017}
}