只是时间问题：用时间增强的多模态 Transformer 检测抑郁症
计算与语言
2023-02-07 v2
摘要
从互联网上用户生成的内容中检测抑郁症一直是研究界长期关注的话题，为心理学家提供了有价值的筛查工具。社交媒体平台的普遍使用为探索帖子及与其他用户互动中的心理健康表现铺设了完美途径。当前从社交媒体检测抑郁症的方法主要集中于文本处理，仅有少数也利用用户发布的图像。在这项工作中，我们提出了一种灵活的时间增强多模态 Transformer 架构，用于从社交媒体帖子中检测抑郁症，使用预训练模型提取图像和文本嵌入。我们的模型直接在用户级别运行，并通过使用 time2vec 位置嵌入，用帖子之间的相对时间来增强它。此外，我们提出了另一个模型变体，它可以对随机采样且无序的帖子集进行操作，以对数据集噪声更具鲁棒性。我们展示了我们的方法，使用 EmoBERTa 和 CLIP 嵌入，在两个多模态数据集上超越了其他方法，在一个流行的多模态 Twitter 数据集上取得了 0.931 F1 分数的当前最佳结果，在唯一的多模态 Reddit 数据集上取得了 0.902 F1 分数。
引用
@article{arxiv.2301.05453,
title = {It's Just a Matter of Time: Detecting Depression with Time-Enriched Multimodal Transformers},
author = {Ana-Maria Bucur and Adrian Cosma and Paolo Rosso and Liviu P. Dinu},
journal= {arXiv preprint arXiv:2301.05453},
year = {2023}
}
备注
Accepted at ECIR 2023