PanLUNA：用于边缘生物信号智能的高效鲁棒查询统一多模态模型
人工智能
2026-04-07 v1
摘要
生理基础模型（FMs）在生物信号表征学习方面已展现出前景，但大多数仍局限于单一模态（如EEG、ECG或PPG），主要原因是配对多模态数据集稀缺。本文提出PanLUNA，一种紧凑的5.4M参数全模态基础模型，在单一共享编码器中联合处理EEG、ECG和PPG。扩展LUNA的通道统一模块，PanLUNA将多模态通道视为统一查询集中的条目，并辅以传感器类型嵌入，从而实现高效的跨模态早期融合，同时在推理时天然具备对缺失模态的鲁棒性。尽管其体积较小，PanLUNA在性能上匹配或超越了高达57倍的模型：在TUAB异常EEG检测上达到81.21%平衡准确率，在HMC多模态睡眠分期上达到最先进的0.7416平衡准确率。INT8权重的量化感知训练可恢复≥96%的全精度性能，在GAP9超低功耗RISC-V微控制器上的部署实现了325.6毫秒延迟和每10秒18.8毫焦的12导联ECG推理，以及30秒时段多模态5通道睡眠分期的1.206秒延迟和68.65毫焦能耗。
引用
@article{arxiv.2604.04297,
title = {PanLUNA: An Efficient and Robust Query-Unified Multimodal Model for Edge Biosignal Intelligence},
author = {Marija Zelic and Anna Tegon and Yawei Li and Thorir Mar Ingolfsson and Luca Benini},
journal= {arXiv preprint arXiv:2604.04297},
year = {2026}
}
备注
5 pages, 5 tables, 1 figure, preprint