权重冻结：一种全连接层的正则化方法及其在脑电分类中的应用
机器学习
2023-06-13 v2 信号处理
摘要
在脑电（EEG）解码领域，提升人工神经网络（ANNs）的性能具有重要潜力。本研究引入一种称为“权重冻结”的新方法，其基于ANN正则化原理与神经科学先验知识。权重冻结的核心思想是在反向传播过程中冻结全连接层中的特定权重，从而降低某些神经元对特定EEG任务决策过程的影响。这是通过使用掩码矩阵和阈值来确定反向传播中待冻结权重的比例来实现的。此外，通过将掩码权重置零，权重冻结不仅能实现以全连接层作为分类器的网络中的稀疏连接，还可作为全连接层的一种有效正则化方法。通过涉及三种不同ANN架构和三个广泛认可的EEG数据集的实验，我们验证了权重冻结的有效性。我们的方法在所有考察的数据集上分类准确率均显著超越以往的峰值表现。补充对照实验揭示了权重冻结实施前后的性能差异，并审视了阈值在权重冻结过程中的影响。我们的研究强调了相较于传统全连接网络，权重冻结在EEG特征分类任务中的优越效能。凭借其已证实的有效性，这一创新方法对未来EEG解码研究的进展具有重要前景。
引用
@article{arxiv.2306.05775,
title = {Weight Freezing: A Regularization Approach for Fully Connected Layers with an Application in EEG Classification},
author = {Zhengqing Miao and Meirong Zhao},
journal= {arXiv preprint arXiv:2306.05775},
year = {2023}
}
备注
16 pages, 5 figures