基于BERT的卷积与循环神经网络组合在印尼语情感分析中的应用
计算与语言
2022-11-11 v1 机器学习
摘要
情感分析是对文本中表达的观点和情绪的计算研究。深度学习是目前在包括情感分析在内的各个应用领域产生state-of-the-art（SOTA）结果的模型。许多研究人员采用结合不同深度学习模型的混合方法，并已证明该方法能提升模型性能。在情感分析中，文本数据的输入首先被转换为数值表示。用于获取文本表示的标准方法是微调的嵌入方法。然而，该方法并未关注句子中每个词的上下文。因此，采用来自Transformer的双向编码器表示（Bidirectional Encoder Representation from Transformer, BERT）模型来获取基于句子中词的上下文和位置的文本表示。本研究扩展了先前的混合深度学习，将BERT表示用于印尼语情感分析。我们的仿真表明，BERT表示提升了所有混合架构的准确率。基于BERT的LSTM-CNN也获得了略高于其他基于BERT的混合架构的准确率。
引用
@article{arxiv.2211.05273,
title = {BERT-Based Combination of Convolutional and Recurrent Neural Network for Indonesian Sentiment Analysis},
author = {Hendri Murfi and Syamsyuriani and Theresia Gowandi and Gianinna Ardaneswari and Siti Nurrohmah},
journal= {arXiv preprint arXiv:2211.05273},
year = {2022}
}
备注
15 pages