D-FaST：基于离散频率-空间-时间注意力的认知信号解码
机器学习
2024-06-06 v1 人工智能
摘要
认知语言处理（Cognitive Language Processing, CLP）位于自然语言处理（NLP）与认知科学的交叉领域，在人工智能、认知智能和脑科学等领域发挥着日益重要的作用。在CLP的关键研究领域中，认知信号解码（Cognitive Signal Decoding, CSD）取得了显著的成就，但仍存在全球动态表征能力不足以及多域特征集成不完善等挑战。本文提出一种新的CLP范式，称为离散频率-空间-时间注意力（Disentangled Frequency-Spatial-Temporal Attention, D-FaST）。具体而言，我们提出了一种基于离散频率-空间-时间域注意力的新型认知信号解码器。该解码器包含三个关键组件：采用多视图注意力进行频域特征提取、利用动态脑连接图注意力进行空间域特征提取、依赖局部时序滑动窗口注意力进行时序特征提取。这些组件被集成到一种新的离散化框架中。此外，为推动该领域的发展，我们构建了一个新的CLP数据集，MNRED。随后，我们在MNRED以及公开数据集（包括ZuCo、BCIC IV-2A和BCIC IV-2B）上进行了大量实验。实验结果表明，D-FaST在我们构建的数据集以及传统CSD数据集上均显著优于现有方法，在MNRED上建立了最高准确率78.72%，在ZuCo上将准确率提升至78.35%，在BCIC IV-2A上达到74.85%，在BCIC IV-2B上达到76.81%。
引用
@article{arxiv.2406.02602,
title = {D-FaST: Cognitive Signal Decoding with Disentangled Frequency-Spatial-Temporal Attention},
author = {Weiguo Chen and Changjian Wang and Kele Xu and Yuan Yuan and Yanru Bai and Dongsong Zhang},
journal= {arXiv preprint arXiv:2406.02602},
year = {2024}
}
备注
18 pages, 9 figures. Accepted by IEEE Transactions on Cognitive and Developmental Systems