通过元训练和大语言模型上下文学习适应跨语言学习的心理健康预测任务
计算与语言
2024-04-16 v1 人工智能
计算机与社会
机器学习
摘要
及时识别对于有效处理抑郁症等心理健康疾病至关重要。然而，当前的研究未能充分解决从斯瓦希里语等低资源非洲语言的社交媒体数据中预测心理健康状况的问题。本研究引入了两种不同的方法，利用模型无关的元学习和大语言模型（LLMs）来弥补这一差距。实验在三个翻译为低资源语言的数据集上进行，并应用于四个心理健康任务，包括压力、抑郁、抑郁严重程度和自杀意念预测。我们首先应用了一种具有自监督的元学习模型，这改进了模型初始化，以实现快速适应和跨语言迁移。结果表明，我们的元训练模型性能显著优于标准微调方法，在宏 F1 分数上分别比 XLM-R 和 mBERT 的基线微调高出 18% 和 0.8%。同时，我们利用 LLM 的上下文学习能力，通过分析不同的跨语言提示方法，评估它们在斯瓦希里语心理健康预测任务上的性能准确性。我们的分析表明，斯瓦希里语提示的表现优于跨语言提示，但不如英语提示。我们的发现表明，通过精心设计的包含示例和指令的提示模板，可以通过跨语言迁移实现上下文学习。
引用
@article{arxiv.2404.09045,
title = {Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model},
author = {Zita Lifelo and Huansheng Ning and Sahraoui Dhelim},
journal= {arXiv preprint arXiv:2404.09045},
year = {2024}
}