基于MentalRoBERTa的自杀风险评估的层次化双头模型
机器学习
2025-10-24 v1 计算机与社会
摘要
社交媒体平台已成为识别自杀风险的重要来源，但自动检测系统面临多个挑战，包括严重的类别不平衡、帖子模式中的时序复杂性，以及风险水平同时具有有序和类别两种性质。本文提出一种基于MentalRoBERTa的层次化双头神经网络，用于将自杀风险分为四个等级：指示符、构念、行为和尝试。该模型采用两个互补的预测头 operating on共享的序列表示：一个CORAL（Consistent Rank Logits）头保留风险等级之间的有序关系，一个标准分类头 enables灵活的类别区分。模型使用3层Transformer编码器带8头多头注意力建模帖子序列中的时序依赖性，显式的时间间隔嵌入捕获发布行为动力学。模型采用组合损失函数（0.5 CORAL + 0.3 Cross-Entropy + 0.2 Focal Loss）同时解决有序结构保持、减少过度自信和类别不平衡问题。为提高计算效率，我们冻结MentalRoBERTa的前6层（50%），并采用混合精度训练。模型使用5折分层交叉验证进行评估，以宏平均F1分数作为主要指标。
关键词
引用
@article{arxiv.2510.20085,
title = {Hierarchical Dual-Head Model for Suicide Risk Assessment via MentalRoBERTa},
author = {Chang Yang and Ziyi Wang and Wangfeng Tan and Zhiting Tan and Changrui Ji and Zhiming Zhou},
journal= {arXiv preprint arXiv:2510.20085},
year = {2025}
}
备注
9 pages, 7 figures, 2tables, 2025 IEEE International Conference on Big Data