基于生理学感知的跨模态遮盖重建的生物信号表征学习
机器学习
2026-05-05 v1 人工智能
信号处理
摘要
来自身体不同部位的生物信号往往提供同一潜在生理过程的有序视图。然而，大多数现有自监督学习方法将这些信号视为可互换的视图，忽略了它们之间所建立的方向性时间动态。一个典型例子是心电图（ECG），它捕获每个心跳启动的电活动，以及脉搏血氧图（PPG），后者记录随血管动力学延迟后的周围脉搏。为捕获这种结构化关系，我们引入 xMAE，这是一个生物信号预训练框架，利用按时间顺序的跨模态信号进行遮盖跨模态重建，以训练时间约束鼓励在所学表征中形成生理学上有意义的时间结构。我们展示，使用 xMAE 进行预训练后得到的表征在 19 个下游任务中均优于单模态和多模态基线，包括心血管结果预测、异常实验室检测、睡眠分期和人口学推断，同时在不同设备、身体部位和采集设置之间实现泛化。进一步分析表明，ECG-PPG 时间结构在所学的 PPG 表征中得以反映。更广泛地说，xMAE 证明了在信号观察同一共享过程的不同阶段时，将时间结构纳入多模态预训练的有效性。代码已在 https://github.com/hzhou3/xMAE 上提供。
引用
@article{arxiv.2605.00973,
title = {Physiology-Aware Masked Cross-Modal Reconstruction for Biosignal Representation Learning},
author = {Hao Zhou and Simon A. Lee and Cyrus Tanade and Keum San Chun and Juhyeon Lee and Migyeong Gwak and Megha Thukral and Justin Sung and Eugene Hwang and Mehrab Bin Morshed and Li Zhu and Viswam Nathan and Md Mahbubur Rahman and Subramaniam Venkatraman and Sharanya Arcot Desai},
journal= {arXiv preprint arXiv:2605.00973},
year = {2026}
}
备注
Proceedings of the 43rd International Conference on Machine Learning