用于生物医学时间序列的多尺度多模态对比学习网络
机器学习
2023-12-08 v1 人工智能
摘要
多模态生物医学时间序列（MBTS）数据提供了生理状态的整体视图，在各种生物医学应用中具有重要意义。由于不同模态之间固有的噪声和分布差异，对MBTS进行建模可能十分复杂。目前已开发了多种深度学习模型来学习MBTS的表示，但由于忽略了模态间的变化，在鲁棒性方面仍存在不足。本文提出了一种基于对比学习的多尺度多模态生物医学时间序列表示学习（MBSL）网络，以缓解这些变化。首先，基于模态间距离对MBTS进行分组，随后每个具有最小模态内变化的组可由独立的编码器有效建模。此外，为了增强多尺度特征提取（编码器），设计了不同的分块长度和掩码比例，以分别生成具有不同尺度和多样上下文视角语义信息的token。最后，提出跨模态对比学习以最大化模态间分组的一致性，从而保留有用信息并消除噪声。在四个生物医学应用上的实验表明，MBSL在呼吸率上的平均绝对误差（MAE）优于SOTA模型33.9%，在运动心率上的MAE优于13.8%，在人体活动识别上的准确率优于1.41%，在阻塞性睡眠呼吸暂停低通气综合征上的F1分数优于1.14%。
关键词
引用
@article{arxiv.2312.03796,
title = {Multi-Scale and Multi-Modal Contrastive Learning Network for Biomedical Time Series},
author = {Hongbo Guo and Xinzi Xu and Hao Wu and Guoxing Wang},
journal= {arXiv preprint arXiv:2312.03796},
year = {2023}
}
备注
4 pages, 3 figures, submitted to ICASSP 2024