使用 LSTM 进行区域嵌入的监督与半监督文本分类
机器学习
2016-05-27 v2 计算与语言
机器学习
摘要
One-hot CNN（卷积神经网络）已被证明对文本分类有效（Johnson & Zhang, 2015）。我们将其视为一个通用框架的特例，该框架联合训练一个线性模型与一个由“文本区域嵌入 + 池化”组成的非线性特征生成器。在此框架下，我们探索了一种使用长短期记忆（Long Short-Term Memory, LSTM）的更复杂的区域嵌入方法。LSTM 能够嵌入大小可变（且可能较大）的文本区域，而在 CNN 中区域大小需固定。我们寻求在监督和半监督设定下为此目的对 LSTM 进行有效且高效的使用。最佳结果通过结合 LSTM 形式的区域嵌入与在无标签数据上训练的卷积层获得。结果表明，在此任务上，能够传达复杂概念的文本区域嵌入比孤立的单词语嵌入更有用。我们报告了在四个基准数据集上超越先前最佳结果的性能。
引用
@article{arxiv.1602.02373,
title = {Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings},
author = {Rie Johnson and Tong Zhang},
journal= {arXiv preprint arXiv:1602.02373},
year = {2016}
}