利用大语言模型超越Transformer模型检测孟加拉语抑郁社交媒体文本：一项综合研究
计算与语言
2024-01-17 v1
摘要
在抑郁症未被充分诊断的全球性无声斗争中，我们的研究深入探讨了心理健康与社交媒体之间的关键联系。本工作聚焦于抑郁症的早期检测，特别是针对外向型社交媒体用户，使用了GPT 3.5、GPT 4以及我们提出的基于GPT 3.5微调的模型DepGPT等大语言模型，以及先进的深度学习模型（LSTM、Bi-LSTM、GRU、BiGRU）和Transformer模型（BERT、BanglaBERT、SahajBERT、BanglaBERT-Base）。研究将Reddit和X数据集划分为“抑郁”和“非抑郁”部分，由具备心理健康专业知识的母语者翻译成孟加拉语，从而创建了孟加拉语社交媒体抑郁数据集（BSMDD）。我们的工作提供了每个模型的完整架构细节，以及使用零样本和少样本学习技术评估其在孟加拉语抑郁文本分类中性能的系统方法。我们的工作展示了SahajBERT和带有FastText嵌入的Bi-LSTM在其各自领域的优越性，同时解决了Transformer模型的可解释性问题，并强调了LLM（尤其是DepGPT）的有效性，展示了其在多种学习场景中的灵活性和能力。根据实验结果，所提出的模型DepGPT不仅在零样本和少样本场景中优于Alpaca Lora 7B，而且优于所有其他模型，达到了近乎完美的准确率0.9796和F1分数0.9804，以及高召回率和卓越的精确率。尽管具有竞争力，GPT-3.5 Turbo和Alpaca Lora 7B在零样本和少样本情况下的效果相对较差。该工作强调了LLM在各种语言环境中的有效性和灵活性，为抑郁症检测模型的复杂领域提供了深刻见解。
引用
@article{arxiv.2401.07310,
title = {Harnessing Large Language Models Over Transformer Models for Detecting Bengali Depressive Social Media Text: A Comprehensive Study},
author = {Ahmadul Karim Chowdhury and Md. Saidur Rahman Sujon and Md. Shirajus Salekin Shafi and Tasin Ahmmad and Sifat Ahmed and Khan Md Hasib and Faisal Muhammad Shah},
journal= {arXiv preprint arXiv:2401.07310},
year = {2024}
}