MentalBERT：面向心理健康的公开可用预训练语言模型
计算与语言
2022-07-19 v1
摘要
心理健康是现代社会的一个关键问题，若缺乏适当治疗，精神障碍有时会演变为自杀意念。从社交内容中早期检测精神障碍与自杀意念，为有效的社会干预提供了潜在途径。预训练上下文语言表示的最新进展推动了若干领域专用预训练模型的发展，并促进了若干下游应用。然而，目前尚无面向心理健康的预训练语言模型。本文训练并发布两个预训练掩码语言模型，即 MentalBERT 与 MentalRoBERTa，以惠及心理健康研究界的机器学习。此外，我们在多个精神障碍检测基准上评估了我们所训练的领域专用模型及若干预训练语言模型变体，并表明在目标领域预训练的语言表示提升了心理健康检测任务的性能。
引用
@article{arxiv.2110.15621,
title = {MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare},
author = {Shaoxiong Ji and Tianlin Zhang and Luna Ansari and Jie Fu and Prayag Tiwari and Erik Cambria},
journal= {arXiv preprint arXiv:2110.15621},
year = {2022}
}