用于不平衡多模态学习的具有时间注意力引导自适应融合的脉冲神经网络
机器学习
2025-05-21 v1 人机交互
摘要
多模态脉冲神经网络（SNN）在节能感知处理方面具有巨大潜力，但在模态不平衡和时间不对齐方面面临关键挑战。当前方法存在跨模态收敛速度不协调以及忽略时变跨模态交互的静态融合机制的问题。我们提出了一种用于多模态 SNN 的时间注意力引导自适应融合框架，包含两项协同创新：1）时间注意力引导自适应融合（TAAF）模块，在每个时间步动态地为融合的脉冲特征分配重要性分数，实现时间异构脉冲特征的分层整合；2）时间自适应平衡融合损失，根据上述注意力分数调节每个模态的学习率，防止主导模态垄断优化过程。所提出的框架实现了自适应融合，特别是在时间维度上，并缓解了多模态学习过程中的模态不平衡，模仿了皮层多感官整合原理。在 CREMA-D、AVE 和 EAD 数据集上的评估展示了最先进的性能（准确率分别为 77.55%、70.65% 和 97.5%）且具有能效。该系统通过可学习的时间变形操作以及比基线 SNN 更快的模态收敛协调来解决时间不对齐问题。这项工作为神经形态系统中时间相干的多模态学习建立了新范式，弥合了生物感知处理与高效机器智能之间的差距。
引用
@article{arxiv.2505.14535,
title = {Spiking Neural Networks with Temporal Attention-Guided Adaptive Fusion for imbalanced Multi-modal Learning},
author = {Jiangrong Shen and Yulin Xie and Qi Xu and Gang Pan and Huajin Tang and Badong Chen},
journal= {arXiv preprint arXiv:2505.14535},
year = {2025}
}