利用微调BERTweet模型的隐藏状态与注意力矩阵进行推文情感分类
计算与语言
2021-10-01 v1
摘要
本文介绍一项关于推文情感分类的研究。我们的任务是将一条推文分类为正面或负面。我们分两步解决这个问题，即嵌入与分类。我们的基线方法包括若干传统嵌入方法与分类算法的组合。此外，我们探索了当前最先进的推文分析模型BERTweet，并受推文实证研究的启发，提出一种新方法，从模型的隐藏状态和注意力矩阵中构造特征。使用以高丢弃率训练的多层感知机进行分类，我们提出的方法达到了0.9111的验证准确率。
引用
@article{arxiv.2109.14692,
title = {Classifying Tweet Sentiment Using the Hidden State and Attention Matrix of a Fine-tuned BERTweet Model},
author = {Tommaso Macrì and Freya Murphy and Yunfan Zou and Yves Zumbach},
journal= {arXiv preprint arXiv:2109.14692},
year = {2021}
}