基于 Transformer 模型的文本希望表达分类
计算与语言
2025-11-18 v1 人工智能
机器学习
摘要
本文提出一种基于 Transformer 的方法，用于分类文本中的希望表达。我们开发并比较了三个架构（BERT、GPT-2 和 DeBERTa）用于二分类（希望 vs. 非希望）和多分类（五类希望相关类别）。我们的初始 BERT 实现实现了 83.65% 的二分类准确率和 74.87% 的多分类准确率。在扩展比较中，BERT 显示出优异性能（84.49% 二分类，72.03% 多分类准确率），且所需计算资源显著低于较新架构（443 秒 vs. 704 秒训练时间）。GPT-2 显示出最低的整体准确率（79.34% 二分类，71.29% 多分类），而 DeBERTa 实现了中等水平的结果（80.70% 二分类，71.56% 多分类），但计算成本显著更高（747 秒的多分类训练时间）。错误分析揭示了各架构在检测细腻的希望表达方面的特定优势，其中 GPT-2 在讽刺检测方面表现突出（92.46% 召回率）。本研究为计算分析希望提供了框架，可应用于精神健康和社交媒体分析，同时表明架构的适用性可能凌驫于模型规模之上，用于专门的情感检测任务。
关键词
引用
@article{arxiv.2511.12874,
title = {Classification of Hope in Textual Data using Transformer-Based Models},
author = {Chukwuebuka Fortunate Ijezue and Tania-Amanda Fredrick Eneye and Maaz Amjad},
journal= {arXiv preprint arXiv:2511.12874},
year = {2025}
}