中文

重新审视标签平滑在增强文本情感分类中的作用

计算与语言 2024-02-26 v2 人工智能 机器学习

摘要

标签平滑是一种广泛应用于文本分类、图像分类和语音识别等多个领域的技术,以其有效对抗模型过拟合而闻名。然而,关于标签平滑如何增强文本情感分类的细粒度分析却很少。为填补这一空白,本文在八个文本情感分类数据集和三种深度学习架构(TextCNN、BERT和RoBERTa)上,采用从头训练和微调两种学习方案,进行了一系列深入分析。通过调整平滑参数,我们几乎在所有数据集上都能为每种模型架构实现性能提升。我们进一步研究了标签平滑的益处,发现标签平滑可以加速深度模型的收敛,并使不同标签的样本更易于区分。

关键词

引用

@article{arxiv.2312.06522,
  title  = {Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification},
  author = {Yijie Gao and Shijing Si and Hua Luo and Haixia Sun and Yugui Zhang},
  journal= {arXiv preprint arXiv:2312.06522},
  year   = {2024}
}

备注

Technical Report