PhysioME：面向缺失模态的生理信号鲁棒多模态自监督框架
机器学习
2025-10-14 v1 人工智能
摘要
由于硬件限制或运动伪影，缺失或损坏的模态在生理信号基于医疗的应用中十分常见。然而，大多数现有方法假设所有模态都可用，在缺失任何模态的情况下会导致显著的性能下降。为克服这一局限，本研究提出了 PhysioME，一个旨在确保在缺失模态条件下保持可靠性能的框架。PhysioME 采用：（1）结合对比学习和掩码预测的多模态自监督学习方法；（2）为捕捉每个生理信号模态的时间动态而量身定制的 Dual-PathNeuroNet 主干网络；（3）能够重建缺失模态标记的恢复解码器，使其能够灵活处理不完整的输入。实验结果表明，PhysioME 在各种缺失模态情景下均实现了高一致性和泛化性能。这些发现凸显了 PhysioME 作为在数据可用性不完善的真实世界场景中支持临床决策的可靠工具的潜力。
引用
@article{arxiv.2510.11110,
title = {PhysioME: A Robust Multimodal Self-Supervised Framework for Physiological Signals with Missing Modalities},
author = {Cheol-Hui Lee and Hwa-Yeon Lee and Min-Kyung Jung and Dong-Joo Kim},
journal= {arXiv preprint arXiv:2510.11110},
year = {2025}
}
备注
9 pages, 2 figures