基于双曲混合曲率专家的脑电图多模态学习
机器学习
2026-05-12 v2
摘要
基于脑电图的多模态学习将大脑信号与互补模态相结合，以改善精神状态评估，具有巨大的临床潜力。这种范式的有效性在很大程度上取决于对异质模态的表征学习。对于基于脑电图的范式，一种有前景的方法是利用其层次结构，因为最近的研究表明，脑电图和相关模态（例如面部表情）都表现出反映复杂认知过程的层次结构。然而，欧几里得嵌入由于其平坦的几何结构而难以表示这些层次结构，而双曲空间凭借其指数增长特性，天然适合表示它们。在这项工作中，我们提出了EEG-MoCE，一种新颖的基于双曲混合曲率专家的框架，专为多模态神经技术设计。EEG-MoCE将每个模态分配给一个具有可学习曲率的双曲空间中的专家，从而能够自适应地建模其内在几何结构。然后，一种曲率感知的融合策略动态地加权专家，强调具有更丰富层次信息的模态。在基准数据集上的大量实验表明，EEG-MoCE在情感识别、睡眠分期和认知评估等任务上达到了最先进的性能。
引用
@article{arxiv.2604.12579,
title = {EEG-Based Multimodal Learning via Hyperbolic Mixture-of-Curvature Experts},
author = {Runhe Zhou and Shanglin Li and Guanxiang Huang and Xinliang Zhou and Qibin Zhao and Motoaki Kawanabe and Yi Ding and Cuntai Guan},
journal= {arXiv preprint arXiv:2604.12579},
year = {2026}
}
备注
Accepted at the Forty-third International Conference on Machine Learning (ICML 2026)