用于抑郁症与赌博障碍用户级分类的端到端 Set Transformer
计算与语言
2022-07-05 v1
摘要
本文提出一种可端到端训练的 transformer 架构，用于赌博成瘾与抑郁症的用户级分类。与其他在帖子级别处理的方法不同，我们处理来自特定个体的社交媒体帖子集合，以利用帖子间的交互并消除帖子级别的标签噪声。我们利用如下事实：通过不注入位置编码，多头注意力具有置换不变性，我们在使用现代预训练句子编码器（RoBERTa / MiniLM）编码后，处理从用户随机采样的文本集合。此外，我们的架构可通过现代特征归因方法解释，并通过识别用户文本集合中具区分性的帖子来实现自动数据集创建。我们对超参数进行了消融研究，并在 eRisk 2022 Lab 的病理性赌博迹象早期检测与抑郁症早期风险检测上评估了我们的方法。我们团队 BLUE 提出的方法在病理性赌博检测上取得了最佳的 ERDE5 分数 0.015，以及第二佳的 ERDE50 分数 0.009。对于抑郁症的早期检测，我们取得了第二佳的 ERDE50 分数 0.027。
引用
@article{arxiv.2207.00753,
title = {An End-to-End Set Transformer for User-Level Classification of Depression and Gambling Disorder},
author = {Ana-Maria Bucur and Adrian Cosma and Liviu P. Dinu and Paolo Rosso},
journal= {arXiv preprint arXiv:2207.00753},
year = {2022}
}