生理信号深度学习的注意力机制：我们应采用何种注意力？
信号处理
2022-07-15 v1 人工智能
机器学习
摘要
注意力机制被广泛用于显著提升各领域深度学习模型的性能。然而，其在改善生理信号深度学习模型性能方面的通用能力尚不成熟。在本研究中，我们通过实验分析了四种注意力机制（如压缩激励、非局部、卷积块注意力模块和多头自注意力）与三种卷积神经网络（CNN）架构（如 VGG、ResNet 和 Inception），用于两项代表性的生理信号预测任务：预测低血压的分类任务和预测心输出量（CO）的回归任务。我们评估了多种组合下生理信号深度学习模型的性能与收敛性。相应地，带有空间注意力机制的 CNN 模型在分类问题中表现最佳，而通道注意力机制在回归问题中实现了最低误差。此外，在两项问题中，带有注意力机制的 CNN 模型的性能与收敛性均优于独立的自注意力模型。因此，我们验证了卷积操作与注意力机制具有互补性，并能提供更快的收敛时间，尽管独立的自注意力模型所需参数更少。
引用
@article{arxiv.2207.06904,
title = {Attention mechanisms for physiological signal deep learning: which attention should we take?},
author = {Seong-A Park and Hyung-Chul Lee and Chul-Woo Jung and Hyun-Lim Yang},
journal= {arXiv preprint arXiv:2207.06904},
year = {2022}
}