通过层注意残差和对比特征学习提升精神健康分类
机器学习
2026-03-17 v1
摘要
精神健康分类面临诸多挑战：其一，精神健康问题之间存在重叠；其二，精神症状的表现依赖于情境，使分类困难。尽管微调transformer已提升精神健康分类性能，但标准交叉熵训练易导致特征空间纠缠，未能充分利用transformer所蕴含的全部信息。我们提出一种新框架，聚焦于表征以改进精神健康分类，主要通过两种方法实现。第一，层注意残差聚合（layer-attentive residual aggregation）基于残差连接，对来自所有transformer层的表征进行加权融合，同时保持高层语义。第二，监督对比特征学习（supervised contrastive feature learning）采用温度缩放的监督对比学习并配合渐进加权，通过重构特征空间来增大易混淆精神健康问题间的几何间隔并减小类别重叠。我们的方法在SWMH基准上取得74.36%的分数，超越诸如MentalBERT和MentalRoBERTa等领域专用模型3.25%至2.2%的提升幅度，并在最高Achieving模型上再超出2.41个召回分数。这些发现表明，针对精神健康文本分类的领域自适应预训练，可通过精心设计的表征几何和层级感知残差整合获得突破，这种方法还通过所学层级重要性提供了增强的可解释性。
关键词
引用
@article{arxiv.2603.14075,
title = {Enhancing Mental Health Classification with Layer-Attentive Residuals and Contrastive Feature Learning},
author = {Menna Elgabry and Ali Hamdi and Khaled Shaban},
journal= {arXiv preprint arXiv:2603.14075},
year = {2026}
}