用于自监督学习中多模态生理信号的跨时序注意力融合(CTAF)
机器学习
2026-02-04 v1 人工智能
摘要
我们研究当 EEG 和周边生理信号不同步时进行多模态情感建模的情况，这大多数融合方法要么忽略，要么通过昂贵的对齐处理。我们提出了跨时序注意力融合(CTAF)，一种自监督模块，通过学习模态之间的软双向对齐并构建基于时序注意力的鲁棒剪辑嵌入，融合方法包括轻量级融合门和带可选弱监督的对齐正则化对比目标。在 K-EmoCon 数据集上，通过留一交叉验证评估，CTAF 在匹配对之间获得更高的余弦间隔，并在一秒内实现更好的跨模态 token 检索，在三个分类准确率和宏 F1 分数上与基线竞争，同时使用较少的标签。我们的贡献包括直接建模对应关系的时间感知融合机制、针对 EEG 和生理信号的对齐驱动自监督目标，以及衡量对齐质量本身的评估协议。我们的ethods 考虑了中枢神经系统和自主神经系统在生理时间序列中的耦合。这些结果表明，CTAF 是标签高效、可泛化的 EEG-周边融合在时间不同步情况下的强有力步骤。
引用
@article{arxiv.2602.02784,
title = {Cross-Temporal Attention Fusion (CTAF) for Multimodal Physiological Signals in Self-Supervised Learning},
author = {Arian Khorasani and Théophile Demazure},
journal= {arXiv preprint arXiv:2602.02784},
year = {2026}
}