中文

中间任务迁移学习:利用讽刺检测提升立场检测性能

计算与语言 2025-03-06 v1 人工智能

摘要

社交媒体上的立场检测(SD)已成为越来越受关注的研究领域,具有社交商业和政治应用的深远意义,因而吸引了不断的研究注意力。来自在线平台的文本所固有的微妙和复杂性为SD算法准确判断作者立场带来了挑战。讽刺和比喻语言的包含会显著影响SD模型的性能。本文通过针对SD采用讽刺检测中间任务迁移学习来解决此问题。 proposed方法包括对BERT和RoBERTa进行微调以及卷积BiLSTM和稠密层的拼接。对公开可用的公开数据集进行严格的实验,以评估 transfer-learning 框架的性能。该方法的性能被评估为各种最先进(SOTA)基线,为其有效性提供了实证证据。值得注意的是,我们的模型在讽刺检测预训练之前就已超越了最佳SOTA模型。将讽刺知识集成到模型中对于减轻SD中讽刺文本元素的误分类至关重要。我们的模型准确预测了85%的文本,这些文本在没有讽刺检测预训练时被模型误分类,从而提高了模型的平均F1分数。我们的实验还发现,transfer-learning 框架的成功取决于中间任务与目标任务之间词汇属性的相关性。该研究代表了在SD上下文中将讽刺检测作为中间transfer-learning 任务的首次探索,同时使用BERT或RoBERTa与其他深度学习技术的拼接,使提出的方法成为该领域未来研究的基础基线。

关键词

引用

@article{arxiv.2503.03172,
  title  = {Intermediate-Task Transfer Learning: Leveraging Sarcasm Detection for Stance Detection},
  author = {Gibson Nkhata and Susan Gauch},
  journal= {arXiv preprint arXiv:2503.03172},
  year   = {2025}
}

备注

8 pages, 2 figures, published in The Sixteenth International Conference on Information (eKNOW 2024)