mhGPT：用于心理健康文本分析的轻量级生成式预训练变换器
计算与语言
2024-08-16 v1
摘要
本文提出 mhGPT，一种在心理健康相关社交媒体和 PubMed 文章上训练的轻量级生成式预训练变换器。mhGPT 针对特定心理健康任务进行了微调，在有限硬件约束下进行了评估，并与 MentaLLaMA 和 Gemma 等最先进模型进行了对比。尽管仅有 19.8 亿参数且仅使用了 5% 的数据集，mhGPT 的表现优于更大的模型，并达到了在显著更多数据上训练的模型的性能。主要贡献包括整合多样化的心理健康数据、创建自定义分词器，以及为低资源设置优化更小的架构。该研究有望推动 AI 驱动的心理健康护理，特别是在计算能力有限的领域。
引用
@article{arxiv.2408.08261,
title = {mhGPT: A Lightweight Generative Pre-Trained Transformer for Mental Health Text Analysis},
author = {Dae-young Kim and Rebecca Hwa and Muhammad Mahbubur Rahman},
journal= {arXiv preprint arXiv:2408.08261},
year = {2024}
}