基于多尺度对比的多模态生理信号表示学习用于抑郁识别
机器学习
2024-06-27 v2 人工智能
摘要
基于功能近红外光谱（fNIRS）和脑电图（EEG）的抑郁识别研究已取得显著进展。然而，大多数现有研究忽略了在复杂时空模式下，同一刺激任务下多模态生理信号的互补性和语义一致性。在本文中，我们引入了一种基于双胞胎网络架构的多模态生理信号表示学习框架，通过多尺度对比实现抑郁识别（MRLMC）。首先，基于时域数据增强策略，将fNIRS和EEG转换为不同但相关的格式。随后，我们设计了时空对比模块，通过权重共享的多尺度时空卷积来学习fNIRS和EEG的表示。此外，为增强与刺激任务相关的语义表示学习，我们提出了语义一致性对比模块，旨在最大化fNIRS和EEG的语义相似性。在公开数据集和自采集的多模态生理信号数据集上进行的广泛实验表明，MRLMC优于当前最先进的模型。而且，我们提出的框架能够迁移至多模态时间序列的下游任务。
引用
@article{arxiv.2406.16968,
title = {Multimodal Physiological Signals Representation Learning via Multiscale Contrasting for Depression Recognition},
author = {Kai Shao and Rui Wang and Yixue Hao and Long Hu and Min Chen and Hans Arno Jacobsen},
journal= {arXiv preprint arXiv:2406.16968},
year = {2024}
}