利用基础模型与简单融合进行多模态生理信号分析
机器学习
2025-12-18 v1 人工智能
摘要
生理信号如心电图（ECG）和脑电图（EEG）提供了关于人类健康和认知的互补信息，但由于多模态标记数据有限以及模态特有的差异，多模态集成具有挑战性。本文采用 CBraMod 编码器进行大规模自监督 ECG 预训练，引入双掩码策略以捕获内部和跨导联依赖性。为克服上述挑战，我们使用预训练的 CBraMod 编码器处理 EEG，并对称地预训练 ECG 编码器，使每个模态都具备丰富的基础表示。随后通过简单的嵌入拼接进行表示融合，使分类头能够学习跨模态相互作用，从而在有限的多模态监督下实现有效的下游学习。在情感识别任务上，我们的方法实现了接近最先进的性能，表明 carefully 设计的生理编码器，即使采用简单的融合方式，也能显著提升下游性能。这些结果凸显了基础模型方法的潜力，能够发挥生理信号的整体性，实现面向 healthcare 和 affective computing 的可扩展、标签高效和通用解决方案。
引用
@article{arxiv.2512.15250,
title = {Leveraging Foundational Models and Simple Fusion for Multi-modal Physiological Signal Analysis},
author = {Youssef Ghallab and Omar Iraqy and Mohamed Kandil and Mohamed Ashraf and Saadeldine Eletter and Morougue Ghazal and Ayman Khalafallah and Nagwa El-Makky},
journal= {arXiv preprint arXiv:2512.15250},
year = {2025}
}
备注
Published at NeurIPS 2025 Workshop on Foundation Models for the Brain and Body