学习生成评论与发现情感
机器学习
2017-04-07 v2 计算与语言
神经与进化计算
摘要
我们探究了字节级循环语言模型的特性。当赋予足够的容量、训练数据和计算时间时，这些模型学习到的表征包含对应于高层概念的解耦特征。具体而言，我们发现了一个执行情感分析的单一单元。这些以无监督方式学习到的表征在斯坦福情感树库（Stanford Sentiment Treebank）的二值子集上达到了最先进的性能。它们还具有很高的数据效率。当仅使用少量标注样本时，我们的方法与在全数据集上训练的强基线性能相当。我们还证明了该情感单元对模型的生成过程有直接影响。只需将其值固定为正或负，即可生成具有相应正或负情感的样本。
引用
@article{arxiv.1704.01444,
title = {Learning to Generate Reviews and Discovering Sentiment},
author = {Alec Radford and Rafal Jozefowicz and Ilya Sutskever},
journal= {arXiv preprint arXiv:1704.01444},
year = {2017}
}