面向短文本多标签情感分析的小型Transformer语言模型优化
计算与语言
2025-09-08 v1 信息检索
机器学习
摘要
短文本数据集中的情感分类面临显著挑战，如类别不平衡、训练样本有限以及情感标签固有的主观性——这些问题因短文本中有限的上下文而进一步加剧。这些因素使得消歧变得困难，并加剧了数据稀疏性，阻碍了有效学习。在本文中，我们评估了小型Transformer模型（即BERT和RoBERTa，参数量少于10亿）在多标签情感分类中的有效性，特别关注短文本场景。具体而言，我们评估了影响模型性能的三个关键因素：（1）持续的领域特定预训练，（2）使用自动生成样本进行的数据增强，即生成式数据增强，以及（3）分类头的架构变体。实验结果表明，数据增强改善了分类性能，而在增强数据集上的持续预训练可能引入噪声而非提升准确率。此外，我们确认对分类头的修改仅带来边际收益。这些发现为在资源受限环境中优化BERT模型以及改进短文本数据集的情感分类策略提供了实践指导。
引用
@article{arxiv.2509.04982,
title = {Optimizing Small Transformer-Based Language Models for Multi-Label Sentiment Analysis in Short Texts},
author = {Julius Neumann and Robert Lange and Yuni Susanti and Michael Färber},
journal= {arXiv preprint arXiv:2509.04982},
year = {2025}
}
备注
Accepted at LDD@ECAI 2025