面向心理健康领域长上下文捕获的语言模型领域自适应继续预训练
计算与语言
2023-04-21 v1
摘要
预训练语言模型已应用于各种自然语言处理任务中。在心理健康领域，已有领域专用的语言模型被预训练并发布，这有助于心理健康问题的早期检测。社交帖子（例如 Reddit 上的内容）通常为长文档。然而，在心理健康领域尚不存在用于长序列建模的领域专用预训练模型。本文开展领域自适应继续预训练，以捕获心理健康领域的长上下文。具体而言，我们基于 XLNet 和 Longformer 训练并发布了 MentalXLNet 和 MentalLongformer。我们评估了这两个领域专用预训练模型的心理健康分类性能及其长程建模能力。我们的模型已在 HuggingFace 上发布。
引用
@article{arxiv.2304.10447,
title = {Domain-specific Continued Pretraining of Language Models for Capturing Long Context in Mental Health},
author = {Shaoxiong Ji and Tianlin Zhang and Kailai Yang and Sophia Ananiadou and Erik Cambria and Jörg Tiedemann},
journal= {arXiv preprint arXiv:2304.10447},
year = {2023}
}